Zapisywanie danych Analytics do pliku

Domyślnie dane analityczne zebrane przez procesor wiadomości są przesyłane do Qpid i Postgres do przetworzenia. Dzięki temu możesz wyświetlać dane analityczne w interfejsie Edge.

Możesz też skonfigurować procesor wiadomości tak, aby zapisywał dane analityczne na dysku. Następnie możesz przesłać te dane do własnego systemu analitycznego, aby je przeanalizować. Możesz na przykład przesłać i przesyłać dane do Google Cloud BigQuery. Możesz w ten sposób zacząć korzystać z zaawansowanych zapytań i systemów uczących się. możliwości wykonywania własnych analiz danych przez BigQuery i TensorFlow.

Możesz też skorzystać z obu tych opcji. Oznacza to, że możesz przesyłać dane analityczne do Qpid/Postgres oraz zapisz dane na dysku.

Nazwy i lokalizacja plików

Jeśli włączysz zapisywanie danych analitycznych na plikach na dysku, domyślnie pliki te będą zapisywane w w tym katalogu:

/opt/apigee/var/log/edge-message-processor/ax/tmp

Edge tworzy w podrzędzie /tmp nowy katalog na pliki danych w jednominutowych odstępach czasu. Nazwa katalogu ma format:

org~env~yyyyMMddhhmmss

Na przykład:

myorg~prod~20190909163500
myorg~prod~20190909163600

W każdym katalogu znajduje się plik .gz z poszczególnymi plikami danych z wybranego przedziału czasu. Format nazwa pliku .gz to:

4DigitRandomHex_StartTime.StartTimePlusInterval_internalHostIP_hostUUID_writer_index.txt.gz

Edge w regularnych odstępach czasu przenosi katalog i zawarty w nim plik .gz z /tmp do jednego z tych katalogów, na podstawie ustawienia uploadToCloud Właściwość konfiguracji procesora wiadomości:

  • uploadToCloud = false: pliki przeniesione do folderu /opt/apigee/var/log/edge-message-processor/ax/staging
  • uploadToCloud = true: (domyślnie): pliki są przenoszone do folderu /opt/apigee/var/log/edge-message-processor/ax/failed

Rozpakuj dane z katalogu /staging lub /failed, aby uzyskać pliki danych analitycznych.

Właściwości konfiguracji

Użyj poniższych właściwości, aby skonfigurować procesor wiadomości do zapisywania danych analitycznych na dysku. Wszystkie te właściwości są opcjonalne:

Właściwość Opis
conf_analytics_analytics.saveToDisk

Ustaw jako true, aby skonfigurować procesor wiadomości do zapisywania danych analitycznych w plikach na dysku.

Wartością domyślną jest false.
conf_analytics_analytics.sendToQueue

Ustaw jako true, aby skonfigurować procesor wiadomości służący do przesyłania danych do Qpid/Postgres. Ustaw jako false, aby wyłączyć zapisywanie danych analitycznych w Qpid/Postgres.

Wartością domyślną jest true.
conf_analytics_analytics.baseDataDirectoryPath

Określa ścieżkę podstawową, w której są zapisywane pliki danych analitycznych.

Wartość domyślna to /opt/apigee/var/log/edge-message-processor/ax..
conf_analytics_analytics.allocatedDiskSpaceInMBytes

Określa miejsce na dysku (w megabajtach) przeznaczone na pliki analityczne.

Wartością domyślną jest 3072. Jeśli przekroczysz ilość miejsca na dysku przydzielonego dla Analytics, procesor wiadomości przestaje zapisywać dane analityczne i zapisuje komunikat o błędzie do plików dziennika.
conf_analytics_analytics.uploadToCloud

Kontroluje końcową lokalizację plików statystyk.

  • false: pliki przeniesione do „/opt/apigee/var/log/edge-message-processor/ax/staging”
  • true (domyślnie): pliki są przenoszone do folderu /opt/apigee/var/log/edge-message-processor/ax/failed

Uwaga: mimo że właściwość ta nosi nazwę uploadToCloud, żadne dane jest przesyłany do chmury. Wszystkie dane analityczne pozostają lokalnie dotyczące instalacji.

Aby ustawić te właściwości:

  1. Otwórz plik message-processor.properties w edytorze. Jeśli plik nie istnieje, utwórz go:

    vi /opt/apigee/customer/application/message-processor.properties

  2. Ustaw właściwości:

    # Enable writing analytics data to disk.
conf_analytics_analytics.saveToDisk=true
# Disable writing analytics data to Qpid/Postgres.
conf_analytics_analytics.sendToQueue=false

# Specify base directory for analytics data files.
conf_analytics_analytics.baseDataDirectoryPath=/opt/apigee/var/smg

# Set the disk space available for analytics files.
conf_analytics_analytics.allocatedDiskSpaceInMBytes=3072
# Move final analytics data to files to the /staging directory.
conf_analytics_analytics.uploadToCloud=false
  3. Zapisz zmiany.

  4. Sprawdź, czy plik właściwości należy do „apigee” użytkownik:

    chown apigee:apigee /opt/apigee/customer/application/message-processor.properties

  5. Ustaw wartość właściwości consumer-type na ax dla parametru Grupa analityczna axgroup-001:

    curl -X POST -H "Content-Type:application/json" \
"http://ms-ip:8080/v1/analytics/groups/ax/axgroup-001/properties?propName=consumer-type&propValue=ax" \
-u sysAdminEmail:sysAdminPWord

    Domyślnie nazwa grupy w Analytics to axgroup-001. W pliku konfiguracji dla Instalacja na brzegu sieci, możesz ustawić nazwę grupy analitycznej za pomocą właściwości AXGROUP. Jeśli nie masz pewności co do nazw grupy analitycznej, uruchom następujące polecenie na serwerze zarządzania aby go wyświetlić:

    apigee-adminapi.sh analytics groups list \
  --admin sysAdminEmail --pwd sysAdminPword --host localhost

    To polecenie zwraca nazwę grupy analitycznej w polu name.

  6. Ponownie uruchom procesor wiadomości:

    /opt/apigee/apigee-service/bin/apigee-service edge-message-processor restart

    Po ponownym uruchomieniu procesor wiadomości zapisuje dane analityczne w plikach danych.

  7. Powtórz te kroki w przypadku wszystkich procesorów wiadomości.