كتابة بيانات الإحصاءات في ملف

يتم تلقائيًا تحميل بيانات الإحصاءات التي يجمعها "معالج الرسائل" إلى Qpid وPostgres لمعالجتها. يمكنك بعد ذلك الاطّلاع على بيانات الإحصاءات في واجهة مستخدم Edge.

بدلاً من ذلك، يمكنك ضبط "معالج الرسائل" لكتابة بيانات الإحصاءات على القرص. بعد ذلك، يمكنك تحميل هذه البيانات إلى نظام الإحصاءات الخاص بك لتحليلها. على سبيل المثال، يمكنك تحميل البيانات إلى Google Cloud BigQuery. يمكنك بعد ذلك الاستفادة من إمكانات طلبات البحث وتعلُّم الآلة الفعّالة التي يوفّرها BigQuery وTensorFlow لإجراء تحليل البيانات الخاص بك.

ويمكنك أيضًا استخدام كلا الخيارَين. هذا يعني أنّه يمكنك تحميل بيانات الإحصاءات إلى Qpid/Postgres وحفظها أيضًا على القرص.

أسماء الملفات وموقعها

في حال تفعيل كتابة بيانات الإحصاءات في ملفات القرص، يتم تلقائيًا كتابة الملفات في الدليل التالي:

/opt/apigee/var/log/edge-message-processor/ax/tmp

ينشئ Edge دليلاً جديدًا ضمن /tmp لملفات البيانات، على فترات زمنية مدتها دقيقة واحدة. تنسيق اسم الدليل هو:

org~env~yyyyMMddhhmmss

على سبيل المثال:

myorg~prod~20190909163500
myorg~prod~20190909163600

يحتوي كل دليل على ملف ‎ .gz يتضمّن ملفات البيانات الفردية لتلك الفترة الزمنية. تنسيق اسم ملف ‎ .gz هو:

4DigitRandomHex_StartTime.StartTimePlusInterval_internalHostIP_hostUUID_writer_index.txt.gz

ينقل Edge الدليل وملف ‎ .gz الذي يحتوي عليه من /tmp إلى أي من الدليلَين التاليَين على فترات منتظمة، استنادًا إلى إعداد السمة uploadToCloud لإعدادات معالج الرسائل:

• uploadToCloud = false: تم نقل الملفات إلى /opt/apigee/var/log/edge-message-processor/ax/staging
• ‫uploadToCloud = true: (تلقائي): يتم نقل الملفات إلى /opt/apigee/var/log/edge-message-processor/ax/failed

فك ضغط البيانات من الدليل /staging أو /failed للحصول على ملفات بيانات الإحصاءات.

خصائص الإعدادات

استخدِم السمات التالية لضبط "معالج الرسائل" من أجل كتابة بيانات الإحصاءات على القرص. جميع هذه السمات اختيارية:

لضبط هذه السمات، اتّبِع الخطوات التالية:

1. افتح ملف message-processor.properties في محرِّر. إذا لم يكن الملف متوفّرًا، أنشِئه:

   vi /opt/apigee/customer/application/message-processor.properties

2. اضبط السمات على النحو المطلوب:

   # Enable writing analytics data to disk.
   conf_analytics_analytics.saveToDisk=true
   # Disable writing analytics data to Qpid/Postgres.
   conf_analytics_analytics.sendToQueue=false
   
   # Specify base directory for analytics data files.
   conf_analytics_analytics.baseDataDirectoryPath=/opt/apigee/var/smg
   
   # Set the disk space available for analytics files.
   conf_analytics_analytics.allocatedDiskSpaceInMBytes=3072
   # Move final analytics data to files to the /staging directory.
   conf_analytics_analytics.uploadToCloud=false

3. احفظ التغييرات.

4. تأكَّد من أنّ ملف المواقع يملكه مستخدم "apigee":

   chown apigee:apigee /opt/apigee/customer/application/message-processor.properties

5. اضبط قيمة السمة consumer-type على ax لمجموعة الإحصاءات axgroup-001:

   curl -X POST -H "Content-Type:application/json" \
   "http://ms-ip:8080/v1/analytics/groups/ax/axgroup-001/properties?propName=consumer-type&propValue=ax" \
   -u sysAdminEmail:sysAdminPWord

   يكون اسم مجموعة الإحصاءات تلقائيًا هو axgroup-001. في ملف الإعداد لتثبيت Edge، يمكنك ضبط اسم مجموعة الإحصاءات باستخدام السمة AXGROUP. إذا لم تكن متأكدًا من أسماء مجموعة الإحصاءات، نفِّذ الأمر التالي على عقدة خادم الإدارة لعرضها:

   apigee-adminapi.sh analytics groups list \
     --admin sysAdminEmail --pwd sysAdminPword --host localhost

   يعرض هذا الأمر اسم مجموعة الإحصاءات في الحقل name.

6. أعِد تشغيل معالج الرسائل:

   /opt/apigee/apigee-service/bin/apigee-service edge-message-processor restart

   بعد إعادة التشغيل، يكتب معالج الرسائل بيانات الإحصاءات في ملفات البيانات.

7. كرِّر هذه الخطوات لجميع معالِجات الرسائل.