Menulis data analisis ke file

Secara default, data analisis yang dikumpulkan oleh Message Processor diupload ke Qpid dan Postgres untuk diproses. Kemudian, Anda dapat melihat data analisis di UI Edge.

Atau, Anda dapat mengonfigurasi Message Processor untuk menulis data analisis ke disk. Kemudian, Anda dapat mengupload data tersebut ke sistem analisis Anda sendiri untuk dianalisis. Misalnya, Anda dapat mengupload data ke Google Cloud BigQuery. Kemudian, Anda dapat memanfaatkan kemampuan kueri dan machine learning yang canggih yang ditawarkan oleh BigQuery dan TensorFlow untuk melakukan analisis data Anda sendiri.

Anda juga dapat memilih untuk menggunakan kedua opsi tersebut. Artinya, Anda dapat mengupload data analisis ke Qpid/Postgres dan juga menyimpan data ke disk.

Nama dan lokasi file

Secara default, jika Anda mengaktifkan penulisan data analisis ke file disk, file akan ditulis ke direktori berikut:

/opt/apigee/var/log/edge-message-processor/ax/tmp

Edge membuat direktori baru di bagian /tmp untuk file data, dengan interval satu menit. Format nama direktori adalah:

org~env~yyyyMMddhhmmss

Contoh:

myorg~prod~20190909163500
myorg~prod~20190909163600

Setiap direktori berisi file .gz dengan file data individual untuk interval tersebut. Format nama file .gz adalah:

4DigitRandomHex_StartTime.StartTimePlusInterval_internalHostIP_hostUUID_writer_index.txt.gz

Pada interval reguler, Edge memindahkan direktori dan file .gz yang ada di dalamnya dari /tmp ke salah satu direktori berikut, berdasarkan setelan properti konfigurasi Message Processor uploadToCloud:

• uploadToCloud = false: file dipindahkan ke /opt/apigee/var/log/edge-message-processor/ax/staging
• uploadToCloud = true: (default): file dipindahkan ke /opt/apigee/var/log/edge-message-processor/ax/failed

Ekstrak data dari direktori /staging atau /failed untuk mendapatkan file data analisis.

Properti konfigurasi

Gunakan properti berikut untuk mengonfigurasi Message Processor agar menulis data analisis ke disk. Semua properti ini bersifat opsional:

Untuk menetapkan properti ini:

1. Buka file message-processor.properties di editor. Jika file tidak ada, buat file:

   vi /opt/apigee/customer/application/message-processor.properties

2. Tetapkan properti sesuai keinginan:

   # Enable writing analytics data to disk.
   conf_analytics_analytics.saveToDisk=true
   # Disable writing analytics data to Qpid/Postgres.
   conf_analytics_analytics.sendToQueue=false
   
   # Specify base directory for analytics data files.
   conf_analytics_analytics.baseDataDirectoryPath=/opt/apigee/var/smg
   
   # Set the disk space available for analytics files.
   conf_analytics_analytics.allocatedDiskSpaceInMBytes=3072
   # Move final analytics data to files to the /staging directory.
   conf_analytics_analytics.uploadToCloud=false

3. Simpan perubahan.

4. Pastikan file properti dimiliki oleh pengguna "apigee":

   chown apigee:apigee /opt/apigee/customer/application/message-processor.properties

5. Tetapkan nilai properti consumer-type ke ax untuk grup analisis axgroup-001:

   curl -X POST -H "Content-Type:application/json" \
   "http://ms-ip:8080/v1/analytics/groups/ax/axgroup-001/properties?propName=consumer-type&propValue=ax" \
   -u sysAdminEmail:sysAdminPWord

   Secara default, nama grup analisis adalah axgroup-001. Dalam file konfigurasi untuk penginstalan Edge, Anda dapat menetapkan nama grup analisis menggunakan properti AXGROUP. Jika Anda tidak yakin dengan nama grup analisis, jalankan perintah berikut pada node Server Pengelolaan untuk menampilkannya:

   apigee-adminapi.sh analytics groups list \
     --admin sysAdminEmail --pwd sysAdminPword --host localhost

   Perintah ini menampilkan nama grup analisis di kolom name.

6. Mulai ulang Message Processor:

   /opt/apigee/apigee-service/bin/apigee-service edge-message-processor restart

   Setelah dimulai ulang, Message Processor akan menulis data analisis ke file data.

7. Ulangi langkah-langkah ini untuk semua Message Processor.