كتابة بيانات الإحصاءات في ملف

يتم تلقائيًا تحميل بيانات الإحصاءات التي يجمعها "معالج الرسائل" إلى Qpid وPostgres لمعالجتها. يمكنك بعد ذلك عرض بيانات الإحصاءات في واجهة مستخدم Edge.

بدلاً من ذلك، يمكنك تهيئة معالج الرسائل لكتابة بيانات التحليلات على القرص. بعد ذلك، يمكنك تحميل تلك البيانات إلى نظام التحليلات الخاص بك للتحليل. على سبيل المثال، يمكنك تحميل البيانات إلى Google Cloud BigQuery. يمكنك بعد ذلك الاستفادة من الإمكانات الفعّالة للطلب وتعلّم الآلة التي توفرها BigQuery وTensorFlow لإجراء تحليل البيانات بنفسك.

يمكنك أيضًا استخدام كلا الخيارين. هذا يعني أنه يمكنك تحميل بيانات التحليلات إلى Qpid/Postgres وحفظ البيانات على القرص.

أسماء الملفات وموقعها

بشكل تلقائي، إذا فعّلت كتابة بيانات الإحصاءات على ملفات القرص، تتم كتابة الملفات في الدليل التالي:

/opt/apigee/var/log/edge-message-processor/ax/tmp

ينشئ Edge دليلاً جديدًا ضمن /tmp لملفات البيانات، على فترات زمنية تبلغ دقيقة واحدة. يكون تنسيق اسم الدليل كما يلي:

org~env~yyyyMMddhhmmss

مثلاً:

myorg~prod~20190909163500
myorg~prod~20190909163600

يحتوي كل دليل على ملف gz .مع ملفات البيانات الفردية لهذه الفترة. يكون تنسيق اسم ملف .gz هو:

4DigitRandomHex_StartTime.StartTimePlusInterval_internalHostIP_hostUUID_writer_index.txt.gz

على فترات منتظمة، ينقل Edge الدليل وملف .gz الذي يتضمّنه من /tmp إلى أي من الدليلين التاليين، وذلك استنادًا إلى إعدادات خاصية إعداد "معالج الرسائل" uploadToCloud:

  • uploadToCloud = false: تم نقل الملفات إلى /opt/apigee/var/log/edge-message-processor/ax/staging.
  • uploadToCloud = true: (تلقائية): نقل الملفات إلى /opt/apigee/var/log/edge-message-processor/ax/failed

يُرجى فك ضغط البيانات من الدليل /staging أو /failed للحصول على ملفات بيانات الإحصاءات.

خصائص الإعداد

استخدم الخصائص التالية لإعداد "معالج الرسائل" من أجل كتابة بيانات الإحصاءات على القرص. كل هذه المواقع اختيارية:

الموقع الوصف
conf_analytics_analytics.saveToDisk

اضبط القيمة على true لضبط "معالج الرسائل" على كتابة بيانات الإحصاءات على ملفات القرص.

ستكون القيمة التلقائية false.
conf_analytics_analytics.sendToQueue

اضبط القيمة على true لضبط "معالج الرسائل" الذي يحمِّل البيانات إلى Qpid/Postgres. اضبط القيمة على false لإيقاف كتابة بيانات الإحصاءات في Qpid/Postgres.

ستكون القيمة التلقائية true.
conf_analytics_analytics.baseDataDirectoryPath

تُحدِّد المسار الأساسي الذي تتم فيه كتابة ملفات بيانات الإحصاءات.

القيمة التلقائية هي /opt/apigee/var/log/edge-message-processor/ax..
conf_analytics_analytics.allocatedDiskSpaceInMBytes

يحدِّد مساحة القرص، بالميغابايت، والمخصّصة لملفات الإحصاءات.

ستكون القيمة التلقائية 3072. وفي حال تجاوز مساحة القرص المخصّصة لملفات بيانات الإحصاءات، يتوقّف "معالج الرسائل" عن حفظ بيانات الإحصاءات ويكتب رسالة خطأ في ملفات السجلّ.
conf_analytics_analytics.uploadToCloud

تتحكّم هذه السياسة في الموقع النهائي لملفات الإحصاءات.

  • false: تم نقل الملفات إلى /opt/apigee/var/log/edge-message-processor/ax/staging
  • true (الخيار التلقائي): نقل الملفات إلى /opt/apigee/var/log/edge-message-processor/ax/failed

ملاحظة: مع أنّ هذه السمة تُسمى uploadToCloud، لا يتم تحميل أي بيانات إلى السحابة الإلكترونية. وتظل جميع بيانات التحليلات محلية في عملية التثبيت.

لضبط هذه السمات:

  1. افتح ملف message-processor.properties في محرِّر. إذا لم يكن الملف متوفّرًا، يمكنك إنشاؤه:

    vi /opt/apigee/customer/application/message-processor.properties

  2. اضبط السمات على النحو المطلوب:

    # Enable writing analytics data to disk.
conf_analytics_analytics.saveToDisk=true
# Disable writing analytics data to Qpid/Postgres.
conf_analytics_analytics.sendToQueue=false

# Specify base directory for analytics data files.
conf_analytics_analytics.baseDataDirectoryPath=/opt/apigee/var/smg

# Set the disk space available for analytics files.
conf_analytics_analytics.allocatedDiskSpaceInMBytes=3072
# Move final analytics data to files to the /staging directory.
conf_analytics_analytics.uploadToCloud=false
  3. احفظ التغييرات.

  4. تأكَّد من أنّ ملف الخصائص يملكه مستخدم "apigee":

    chown apigee:apigee /opt/apigee/customer/application/message-processor.properties

  5. اضبط قيمة السمة consumer-type على ax لمجموعة الإحصاءات axgroup-001:

    curl -X POST -H "Content-Type:application/json" \
"http://ms-ip:8080/v1/analytics/groups/ax/axgroup-001/properties?propName=consumer-type&propValue=ax" \
-u sysAdminEmail:sysAdminPWord

    بشكل تلقائي، يكون اسم مجموعة الإحصاءات هو axgroup-001. في ملف الإعداد الخاص بتثبيت Edge، يمكنك ضبط اسم مجموعة الإحصاءات باستخدام السمة AXGROUP. إذا لم تكن متأكدًا من أسماء مجموعة الإحصاءات، يمكنك تشغيل الأمر التالي في عقدة خادم الإدارة لعرضها:

    apigee-adminapi.sh analytics groups list \
  --admin sysAdminEmail --pwd sysAdminPword --host localhost

    يعرض هذا الأمر اسم مجموعة الإحصاءات في الحقل "name".

  6. أعِد تشغيل معالج الرسائل:

    /opt/apigee/apigee-service/bin/apigee-service edge-message-processor restart

    بعد إعادة التشغيل، يكتب "معالج الرسائل" بيانات الإحصاءات إلى ملفات البيانات.

  7. كرِّر هذه الخطوات لجميع معالجات الرسائل.