Bir dosyaya analiz verileri yazma

Mesaj İşleyici tarafından toplanan analiz verileri varsayılan olarak Qpid ve Postgres'e yüklenir gerekir. Ardından, analiz verilerini Edge kullanıcı arayüzünde görüntüleyebilirsiniz.

Alternatif olarak, İleti İşlemci'yi analiz verilerini diske yazacak şekilde yapılandırabilirsiniz. Ardından bu verileri analiz için kendi analiz sisteminize yükleyebilirsiniz. Örneğin, her ülke için Google Cloud BigQuery'ye aktarır. Böylece, kampanya ve reklam başlıkları için güçlü sorgu ve makine öğrenimi teknolojisinden özelliklerini kullanarak veri analizi yapmanıza olanak tanır.

Her iki seçeneği de kullanabilirsiniz. Bu, analiz verilerini doğrudan ve verileri diske kaydeder.

Dosya adları ve konumu

Varsayılan olarak, analiz verilerinin disk dosyalarına yazılmasını etkinleştirirseniz dosyalar şu dizinde:

/opt/apigee/var/log/edge-message-processor/ax/tmp

Edge, veri dosyaları için /tmp altında bir dakikalık aralıklarla yeni bir dizin oluşturur. Dizin adının biçimi şu şekildedir:

org~env~yyyyMMddhhmmss

Örneğin:

myorg~prod~20190909163500
myorg~prod~20190909163600

Her dizin, söz konusu aralığa ilişkin tek tek veri dosyalarını içeren bir .gz dosyası içerir. Biçim .gz dosyasının adı:

4DigitRandomHex_StartTime.StartTimePlusInterval_internalHostIP_hostUUID_writer_index.txt.gz

Edge, /tmp dizininden dizini ve içerdiği .gz dosyasını düzenli aralıklarla taşır uploadToCloud ayarına bağlı olarak aşağıdaki dizinlerden birine İleti İşleyici yapılandırma özelliği:

  • uploadToCloud = false: dosyalar /opt/apigee/var/log/edge-message-processor/ax/staging klasörüne taşındı
  • uploadToCloud = true: (varsayılan): Dosyalar /opt/apigee/var/log/edge-message-processor/ax/failed hedefine taşınır

Elde etmek için verileri /staging veya /failed dizininden sıkıştırılmış verileri açın analiz veri dosyalarından oluşur.

Yapılandırma özellikleri

Mesaj İşleyici'yi analiz verilerini diske yazacak şekilde yapılandırmak için aşağıdaki özellikleri kullanın. Bu özelliklerin tümü isteğe bağlıdır:

Özellik Açıklama
conf_analytics_analytics.saveToDisk

Mesaj İşleyici'yi analiz verilerini disk dosyalarına yazacak şekilde yapılandırmak için true olarak ayarlayın.

Varsayılan değer: false.

conf_analytics_analytics.sendToQueue

Mesaj İşleyici'yi yapılandırmak için true olarak ayarlayın ve verileri Qpid/Postgres'e yükleyin. Analiz verilerinin Qpid/Postgres'e yazılmasını devre dışı bırakmak için false olarak ayarlayın.

Varsayılan değer: true.

conf_analytics_analytics.baseDataDirectoryPath

Analiz veri dosyalarının yazıldığı temel yolu belirtir.

Varsayılan değer: /opt/apigee/var/log/edge-message-processor/ax.

conf_analytics_analytics.allocatedDiskSpaceInMBytes

Analiz dosyaları için ayrılan disk alanını megabayt cinsinden belirtir.

Varsayılan değer: 3072. Dosya için ayrılan disk alanını aşarsanız analiz veri dosyalarını kaydederse, İleti İşleyici analiz verilerini kaydetmeyi durdurur ve .

conf_analytics_analytics.uploadToCloud

Analytics dosyalarının son konumunu kontrol eder.

  • false: Dosyalar /opt/apigee/var/log/edge-message-processor/ax/staging klasörüne taşındı
  • true (varsayılan): Dosyalar /opt/apigee/var/log/edge-message-processor/ax/failed hedefine taşınır

Not: Bu özellik uploadToCloud olarak adlandırılsa da veri yok buluta yüklenir. Tüm analiz verileri, yüklemenizde yerel kalır.

Bu özellikleri ayarlamak için:

  1. message-processor.properties dosyasını bir düzenleyicide açın. Dosya yoksa, oluşturun:

    vi /opt/apigee/customer/application/message-processor.properties
  2. Özellikleri istediğiniz gibi ayarlayın:

    # Enable writing analytics data to disk.
    conf_analytics_analytics.saveToDisk=true
    # Disable writing analytics data to Qpid/Postgres.
    conf_analytics_analytics.sendToQueue=false
    
    # Specify base directory for analytics data files.
    conf_analytics_analytics.baseDataDirectoryPath=/opt/apigee/var/smg
    
    # Set the disk space available for analytics files.
    conf_analytics_analytics.allocatedDiskSpaceInMBytes=3072
    # Move final analytics data to files to the /staging directory.
    conf_analytics_analytics.uploadToCloud=false
  3. Değişikliklerinizi kaydedin.
  4. Özellikler dosyasının sahibi olarak "Apigee" bulunduğundan emin olun kullanıcı:

    chown apigee:apigee /opt/apigee/customer/application/message-processor.properties
  5. Şu öğe için consumer-type özelliğinin değerini ax olarak ayarlayın: axgroup-001 analiz grubu:

    curl -X POST -H "Content-Type:application/json" \
    "http://ms-ip:8080/v1/analytics/groups/ax/axgroup-001/properties?propName=consumer-type&propValue=ax" \
    -u sysAdminEmail:sysAdminPWord

    Varsayılan olarak analiz grubunun adı axgroup-001 şeklindedir. Bir Edge kurulumunda, AXGROUP özelliğini kullanarak analiz grubunun adını ayarlayabilirsiniz. Analiz grubunun adlarından emin değilseniz Yönetim Sunucusu'nda aşağıdaki komutu çalıştırın düğümünü değiştirin:

    apigee-adminapi.sh analytics groups list \
      --admin sysAdminEmail --pwd sysAdminPword --host localhost

    Bu komut, name alanındaki analiz grubu adını döndürür.

  6. Mesaj İşleyici'yi yeniden başlatın:

    /opt/apigee/apigee-service/bin/apigee-service edge-message-processor restart

    Yeniden başlatma sonrasında, Mesaj İşleyici analiz verilerini veri dosyalarına yazar.

  7. Tüm Mesaj İşleyicileri için bu adımları tekrarlayın.