Analysedaten in eine Datei schreiben

Standardmäßig werden vom Message Processor erfasste Analysedaten in Qpid und Postgres hochgeladen. zu verarbeiten. Sie können dann die Analysedaten in der Edge-Benutzeroberfläche anzeigen.

Alternativ können Sie den Message Processor so konfigurieren, dass Analysedaten auf das Laufwerk geschrieben werden. Anschließend können Sie diese Daten zur Analyse in Ihr eigenes Analysesystem hochladen. Sie können beispielsweise die Daten in Google Cloud BigQuery. Sie können dann die Vorteile der leistungsstarken Abfrage- und ML-Funktionen Funktionen von BigQuery und TensorFlow, um eigene Datenanalysen durchzuführen.

Sie können auch beide Optionen verwenden. Das bedeutet, dass Sie die Analysedaten Qpid/Postgres und speichern Sie die Daten auf der Festplatte.

Dateinamen und Speicherort

Wenn Sie das Schreiben von Analysedaten in Datenträgerdateien aktivieren, werden die Dateien standardmäßig das folgende Verzeichnis:

/opt/apigee/var/log/edge-message-processor/ax/tmp

Edge erstellt im Abstand von einer Minute unter /tmp ein neues Verzeichnis für die Datendateien. Das Format des Verzeichnisnamens ist:

org~env~yyyyMMddhhmmss

Beispiel:

myorg~prod~20190909163500
myorg~prod~20190909163600

Jedes Verzeichnis enthält eine GZ-Datei mit den einzelnen Datendateien für das jeweilige Intervall. Das Format von der Name der GZ-Datei lautet:

4DigitRandomHex_StartTime.StartTimePlusInterval_internalHostIP_hostUUID_writer_index.txt.gz

In regelmäßigen Abständen verschiebt Edge das Verzeichnis und die darin enthaltene GZ-Datei aus /tmp in eines der folgenden Verzeichnisse, je nach Einstellung des uploadToCloud Konfigurationsattribut für Message Processor:

  • uploadToCloud = false: Dateien nach /opt/apigee/var/log/edge-message-processor/ax/staging verschoben
  • uploadToCloud = true: (Standard): Dateien werden in /opt/apigee/var/log/edge-message-processor/ax/failed verschoben

Entpacken Sie die Daten aus dem Verzeichnis /staging oder /failed, um Analysedatendateien.

Konfigurationsattribute

Mit den folgenden Attributen können Sie den Message Processor so konfigurieren, dass Analysedaten auf das Laufwerk geschrieben werden. Alle diese Eigenschaften sind optional:

Attribut Beschreibung
conf_analytics_analytics.saveToDisk

Legen Sie true fest, um den Message Processor so zu konfigurieren, dass Analysedaten in Datenträgerdateien geschrieben werden.

Der Standardwert ist false.

conf_analytics_analytics.sendToQueue

Legen Sie true fest, um den Message Processor zu konfigurieren, die Daten in Qpid/Postgres hochzuladen. Legen Sie false fest, um das Schreiben von Analysedaten in Qpid/Postgres zu deaktivieren.

Der Standardwert ist true.

conf_analytics_analytics.baseDataDirectoryPath

Gibt den Basispfad an, in den die Analysedatendateien geschrieben werden.

Der Standardwert ist /opt/apigee/var/log/edge-message-processor/ax..

conf_analytics_analytics.allocatedDiskSpaceInMBytes

Gibt den Speicherplatz in Megabyte an, der für Analysedateien zugewiesen ist.

Der Standardwert ist 3072. Wenn Sie den für den Analysedatendateien speichert der Message Processor keine Analysedaten mehr und schreibt eine Fehlermeldung. zu den Protokolldateien hinzu.

conf_analytics_analytics.uploadToCloud

Steuert den endgültigen Speicherort der Analysedateien.

  • false: Dateien in /opt/apigee/var/log/edge-message-processor/ax/staging verschoben
  • true (Standard): Dateien werden in /opt/apigee/var/log/edge-message-processor/ax/failed verschoben

Hinweis: Obwohl diese Eigenschaft den Namen uploadToCloud hat, sind keine Daten in die Cloud hochgeladen wird. Alle Analysedaten bleiben lokal in Ihrer Installation.

So legen Sie diese Eigenschaften fest:

  1. Öffnen Sie die Datei message-processor.properties in einem Editor. Wenn die Datei nicht vorhanden ist, erstellen Sie sie:

    vi /opt/apigee/customer/application/message-processor.properties
  2. Legen Sie die Eigenschaften wie gewünscht fest:

    # Enable writing analytics data to disk.
    conf_analytics_analytics.saveToDisk=true
    # Disable writing analytics data to Qpid/Postgres.
    conf_analytics_analytics.sendToQueue=false
    
    # Specify base directory for analytics data files.
    conf_analytics_analytics.baseDataDirectoryPath=/opt/apigee/var/smg
    
    # Set the disk space available for analytics files.
    conf_analytics_analytics.allocatedDiskSpaceInMBytes=3072
    # Move final analytics data to files to the /staging directory.
    conf_analytics_analytics.uploadToCloud=false
  3. Speichern Sie die Änderungen.
  4. Achten Sie darauf, dass die Eigenschaftendatei dem „Apigee“ gehört Nutzer:

    chown apigee:apigee /opt/apigee/customer/application/message-processor.properties
  5. Setzen Sie den Wert des Attributs consumer-type auf ax für die Analysegruppe für axgroup-001:

    curl -X POST -H "Content-Type:application/json" \
    "http://ms-ip:8080/v1/analytics/groups/ax/axgroup-001/properties?propName=consumer-type&propValue=ax" \
    -u sysAdminEmail:sysAdminPWord

    Standardmäßig lautet der Name der Analysegruppe axgroup-001. In der Konfigurationsdatei für eine Edge-Installation können Sie den Namen der Analysegruppe mithilfe des Attributs AXGROUP festlegen. Wenn Sie die Namen der Analysegruppe nicht kennen, führen Sie den folgenden Befehl auf dem Management Server aus. , um ihn anzuzeigen:

    apigee-adminapi.sh analytics groups list \
      --admin sysAdminEmail --pwd sysAdminPword --host localhost

    Dieser Befehl gibt den Namen der Analysegruppe im Feld name zurück.

  6. Starten Sie den Message Processor neu:

    /opt/apigee/apigee-service/bin/apigee-service edge-message-processor restart

    Nach dem Neustart schreibt der Message Processor Analysedaten in Datendateien.

  7. Wiederholen Sie diese Schritte für alle Message Processor.