Bir dosyaya analiz verileri yazma

Varsayılan olarak, Message Processor tarafından toplanan analiz verileri, işlenmek üzere Qpid ve Postgres'e yüklenir. Ardından, analiz verilerini Edge kullanıcı arayüzünde görüntüleyebilirsiniz.

Alternatif olarak, Mesaj İşleyici'yi analiz verilerini diske yazacak şekilde yapılandırabilirsiniz. Ardından, bu verileri analiz için kendi analiz sisteminize yükleyebilirsiniz. Örneğin, verileri Google Cloud BigQuery'ye yükleyebilirsiniz. Ardından, kendi veri analizinizi yapmak için BigQuery ve TensorFlow'un sunduğu güçlü sorgu ve makine öğrenimi özelliklerinden yararlanabilirsiniz.

Dilerseniz iki seçeneği de kullanabilirsiniz. Bu, analiz verilerini Qpid/Postgres'e yükleyebileceğiniz ve diske kaydedebileceğiniz anlamına gelir.

Dosya adları ve konumu

Varsayılan olarak, analiz verilerinin disk dosyalarına yazılmasını etkinleştirirseniz dosyalar aşağıdaki dizine yazılır:

/opt/apigee/var/log/edge-message-processor/ax/tmp

Edge, veri dosyaları için /tmp altında bir dakikalık aralıklarla yeni bir dizin oluşturur. Dizin adının biçimi şu şekildedir:

org~env~yyyyMMddhhmmss

Örneğin:

myorg~prod~20190909163500
myorg~prod~20190909163600

Her dizinde, ilgili aralığın ayrı veri dosyalarını içeren bir .gz dosyası bulunur. .gz dosya adının biçimi şu şekildedir:

4DigitRandomHex_StartTime.StartTimePlusInterval_internalHostIP_hostUUID_writer_index.txt.gz

Edge, dizini ve içerdiği .gz dosyasını düzenli aralıklarla /tmp dizininden, uploadToCloud Mesaj İşleyici yapılandırma özelliğinin ayarına göre aşağıdaki dizinlerden birine taşır:

  • uploadToCloud = false: dosya /opt/apigee/var/log/edge-message-processor/ax/staging klasörüne taşındı
  • uploadToCloud = true: (varsayılan): Dosyalar /opt/apigee/var/log/edge-message-processor/ax/failed klasörüne taşınır.

Analiz verisi dosyalarını elde etmek için /staging veya /failed dizinindeki verileri sıkıştırılmış dosyadan çıkarın.

Yapılandırma özellikleri

Mesaj İşleyici'yi analiz verilerini diske yazacak şekilde yapılandırmak için aşağıdaki özellikleri kullanın. Bu özelliklerin tümü isteğe bağlıdır:

Mülk Açıklama
conf_analytics_analytics.saveToDisk

Mesaj İşleyici'yi analiz verilerini disk dosyalarına yazacak şekilde yapılandırmak için true olarak ayarlayın.

Varsayılan değer: false.
conf_analytics_analytics.sendToQueue

Mesaj İşlemci'yi verileri Qpid/Postgres'e yükleyecek şekilde yapılandırmak için true olarak ayarlayın. Analiz verilerinin Qpid/Postgres'e yazılmasını devre dışı bırakmak için false olarak ayarlayın.

Varsayılan değer: true.
conf_analytics_analytics.baseDataDirectoryPath

Analiz veri dosyalarının yazıldığı temel yolu belirtir.

Varsayılan değer: /opt/apigee/var/log/edge-message-processor/ax.
conf_analytics_analytics.allocatedDiskSpaceInMBytes

Analiz dosyaları için ayrılan disk alanını megabayt cinsinden belirtir.

Varsayılan değer: 3072. Analiz veri dosyaları için ayrılan disk alanını aşarsanız Mesaj İşleyici, analiz verilerini kaydetmeyi durdurur ve günlük dosyalarına bir hata mesajı yazar.
conf_analytics_analytics.uploadToCloud

Analiz dosyalarının nihai konumunu kontrol eder.

  • false: dosyalar /opt/apigee/var/log/edge-message-processor/ax/staging klasörüne taşındı
  • true (varsayılan): Dosyalar /opt/apigee/var/log/edge-message-processor/ax/failed klasörüne taşınır.

Not: Bu özelliğin adı uploadToCloud olsa da buluta veri yüklenmez. Tüm analiz verileri, yüklemeniz için yerel olarak kalır.

Bu özellikleri ayarlamak için:

  1. message-processor.properties dosyasını bir düzenleyicide açın. Dosya yoksa oluşturun:

    vi /opt/apigee/customer/application/message-processor.properties

  2. Özellikleri istediğiniz gibi ayarlayın:

    # Enable writing analytics data to disk.
conf_analytics_analytics.saveToDisk=true
# Disable writing analytics data to Qpid/Postgres.
conf_analytics_analytics.sendToQueue=false

# Specify base directory for analytics data files.
conf_analytics_analytics.baseDataDirectoryPath=/opt/apigee/var/smg

# Set the disk space available for analytics files.
conf_analytics_analytics.allocatedDiskSpaceInMBytes=3072
# Move final analytics data to files to the /staging directory.
conf_analytics_analytics.uploadToCloud=false
  3. Değişikliklerinizi kaydedin.

  4. Özellikler dosyasının "apigee" kullanıcısına ait olduğundan emin olun:

    chown apigee:apigee /opt/apigee/customer/application/message-processor.properties

  5. axgroup-001 analiz grubu için consumer-type özelliğinin değerini ax olarak ayarlayın:

    curl -X POST -H "Content-Type:application/json" \
"http://ms-ip:8080/v1/analytics/groups/ax/axgroup-001/properties?propName=consumer-type&propValue=ax" \
-u sysAdminEmail:sysAdminPWord

    Varsayılan olarak, analiz grubunun adı axgroup-001 şeklindedir. Bir Edge kurulumunun yapılandırma dosyasında, AXGROUP özelliğini kullanarak analiz grubunun adını ayarlayabilirsiniz. Analiz grubunun adından emin değilseniz Management Server düğümünde aşağıdaki komutu çalıştırarak adı görüntüleyin:

    apigee-adminapi.sh analytics groups list \
  --admin sysAdminEmail --pwd sysAdminPword --host localhost

    Bu komut, name alanında Analytics grubu adını döndürür.

  6. Mesaj İşleyici'yi yeniden başlatın:

    /opt/apigee/apigee-service/bin/apigee-service edge-message-processor restart

    Yeniden başlatma işleminden sonra Message Processor, analiz verilerini veri dosyalarına yazar.

  7. Tüm Mesaj İşleyiciler için bu adımları tekrarlayın.