كتابة بيانات الإحصاءات في ملف

بشكل تلقائي، يتم تحميل بيانات الإحصاءات التي يجمعها معالج الرسائل إلى Qpid وPostgres. للمعالجة. يمكنك بعد ذلك عرض بيانات الإحصاءات في واجهة مستخدم Edge.

بدلاً من ذلك، يمكنك تهيئة معالج الرسائل لكتابة بيانات التحليلات على القرص. بعد ذلك، يمكنك تحميل تلك البيانات إلى نظام التحليلات الخاص بك لتحليلها. على سبيل المثال، يمكنك تحميل البيانات إلى Google Cloud BigQuery. ويمكنكم بعد ذلك الاستفادة من الاستعلام القوي والتعلم الآلي والإمكانيات المتوفرة في BigQuery وTensorFlow لإجراء تحليل البيانات بنفسك.

يمكنك أيضًا استخدام كلا الخيارين. هذا يعني أنه يمكنك تحميل بيانات التحليلات إلى Qpid/Postgres وحفظ البيانات أيضًا على القرص.

أسماء الملفات وموقعها

بشكل تلقائي، إذا مكنت كتابة بيانات التحليلات في ملفات القرص، فستتم كتابة الملفات إلى الدليل التالي:

/opt/apigee/var/log/edge-message-processor/ax/tmp

ينشئ Edge دليلاً جديدًا ضمن /tmp لملفات البيانات، على فترات زمنية تبلغ دقيقة واحدة. يكون تنسيق اسم الدليل هو:

org~env~yyyyMMddhhmmss

على سبيل المثال:

myorg~prod~20190909163500
myorg~prod~20190909163600

يحتوي كل دليل على ملف gz .يحتوي على ملفات البيانات الفردية لهذا الفاصل الزمني. تنسيق يكون اسم ملف .gz هو:

4DigitRandomHex_StartTime.StartTimePlusInterval_internalHostIP_hostUUID_writer_index.txt.gz

على فترات منتظمة، ينقل Edge الدليل وملف .gz الذي يحتوي عليه من /tmp إلى أي من الدليل التالي، بناءً على إعداد uploadToCloud خاصية إعداد معالج الرسائل:

  • uploadToCloud = false: تم نقل الملفات إلى /opt/apigee/var/log/edge-message-processor/ax/staging.
  • uploadToCloud = true: (تلقائي): يتم نقل الملفات إلى /opt/apigee/var/log/edge-message-processor/ax/failed.

يُرجى فك ضغط البيانات من الدليل /staging أو /failed للحصول عليها. ملفات بيانات التحليلات.

خصائص الإعدادات

استخدم السمات التالية لإعداد "معالج الرسائل" لكتابة بيانات التحليلات على القرص. كل هذه السمات اختيارية:

الموقع الوصف
conf_analytics_analytics.saveToDisk

يجب الضبط على true لإعداد "معالج الرسائل" لكتابة بيانات الإحصاءات في ملفات القرص.

تكون القيمة التلقائية false.
conf_analytics_analytics.sendToQueue

يجب الضبط على true لضبط معالج الرسائل لتحميل البيانات على Qpid/Postgres. اضبط القيمة على false لإيقاف كتابة بيانات الإحصاءات على Qpid/Postgres.

تكون القيمة التلقائية true.
conf_analytics_analytics.baseDataDirectoryPath

تُحدِّد المسار الأساسي الذي تتم فيه كتابة ملفات بيانات الإحصاءات.

القيمة التلقائية هي /opt/apigee/var/log/edge-message-processor/ax..
conf_analytics_analytics.allocatedDiskSpaceInMBytes

يحدِّد هذا الإعداد مساحة القرص، بالميغابايت، والمخصّصة لملفات الإحصاءات.

تكون القيمة التلقائية 3072. إذا تجاوزت مساحة القرص المخصصة بيانات تحليلات البيانات، يتوقف معالج الرسائل عن حفظ بيانات التحليلات ويكتب رسالة خطأ إلى ملفات السجل الخاصة به.
conf_analytics_analytics.uploadToCloud

تتحكّم هذه السياسة في الموقع النهائي لملفات الإحصاءات.

  • false: تم نقل الملفات إلى /opt/apigee/var/log/edge-message-processor/ax/staging.
  • true (تلقائي): يتم نقل الملفات إلى /opt/apigee/var/log/edge-message-processor/ax/failed.

ملاحظة: على الرغم من أن هذا الموقع يُسمى uploadToCloud، فلا توجد بيانات يتم تحميله إلى السحابة. وتظل جميع بيانات الإحصاءات محلية في عملية التثبيت.

لضبط هذه الخصائص:

  1. افتح ملف message-processor.properties في محرِّر. إذا لم يكن الملف متوفّرًا، أنشئه:

    vi /opt/apigee/customer/application/message-processor.properties

  2. اضبط السمات على النحو المطلوب:

    # Enable writing analytics data to disk.
conf_analytics_analytics.saveToDisk=true
# Disable writing analytics data to Qpid/Postgres.
conf_analytics_analytics.sendToQueue=false

# Specify base directory for analytics data files.
conf_analytics_analytics.baseDataDirectoryPath=/opt/apigee/var/smg

# Set the disk space available for analytics files.
conf_analytics_analytics.allocatedDiskSpaceInMBytes=3072
# Move final analytics data to files to the /staging directory.
conf_analytics_analytics.uploadToCloud=false
  3. احفظ التغييرات.

  4. تأكّد من أنّ ملف الخصائص يملكه "apigee". المستخدم:

    chown apigee:apigee /opt/apigee/customer/application/message-processor.properties

  5. اضبط قيمة السمة consumer-type على ax مجموعة الإحصاءات "axgroup-001":

    curl -X POST -H "Content-Type:application/json" \
"http://ms-ip:8080/v1/analytics/groups/ax/axgroup-001/properties?propName=consumer-type&propValue=ax" \
-u sysAdminEmail:sysAdminPWord

    يكون اسم مجموعة الإحصاءات هو axgroup-001 تلقائيًا. في ملف الإعداد عند تثبيت Edge، يمكنك ضبط اسم مجموعة الإحصاءات باستخدام السمة AXGROUP. في حال لم تكن متأكدًا من أسماء مجموعة الإحصاءات، شغِّل الأمر التالي في "خادم الإدارة". العقدة لعرضه:

    apigee-adminapi.sh analytics groups list \
  --admin sysAdminEmail --pwd sysAdminPword --host localhost

    يعرض هذا الأمر اسم مجموعة الإحصاءات في الحقل name.

  6. إعادة تشغيل معالج الرسائل:

    /opt/apigee/apigee-service/bin/apigee-service edge-message-processor restart

    بعد إعادة التشغيل، يكتب معالج الرسائل بيانات الإحصاءات في ملفات البيانات.

  7. كرر هذه الخطوات لجميع معالِجات معالجة الرسائل.