نوشتن داده های تجزیه و تحلیل در یک فایل

به‌طور پیش‌فرض، داده‌های تحلیلی جمع‌آوری‌شده توسط پردازشگر پیام برای پردازش در Qpid و Postgres آپلود می‌شوند. سپس می توانید داده های تجزیه و تحلیل را در رابط کاربری Edge مشاهده کنید.

همچنین، می‌توانید پردازشگر پیام را برای نوشتن داده‌های تحلیلی روی دیسک پیکربندی کنید. سپس، می توانید آن داده ها را برای تجزیه و تحلیل در سیستم تجزیه و تحلیل خود آپلود کنید. به عنوان مثال، می توانید داده ها را در Google Cloud BigQuery آپلود کنید. سپس می‌توانید از قابلیت‌های قدرتمند پرس و جو و یادگیری ماشین ارائه شده توسط BigQuery و TensorFlow برای انجام تجزیه و تحلیل داده‌های خود استفاده کنید.

همچنین می توانید از هر دو گزینه استفاده کنید. این بدان معنی است که می توانید داده های تجزیه و تحلیل را در Qpid/Postgres آپلود کنید و همچنین داده ها را در دیسک ذخیره کنید.

نام فایل ها و مکان

به‌طور پیش‌فرض، اگر نوشتن داده‌های تحلیلی روی فایل‌های دیسک را فعال کنید، فایل‌ها در دایرکتوری زیر نوشته می‌شوند:

/opt/apigee/var/log/edge-message-processor/ax/tmp

Edge یک دایرکتوری جدید در زیر /tmp برای فایل های داده، در فواصل یک دقیقه ایجاد می کند. فرمت نام دایرکتوری:

org~env~yyyyMMddhhmmss

مثلا:

myorg~prod~20190909163500
myorg~prod~20190909163600

هر دایرکتوری حاوی یک فایل .gz با فایل های داده جداگانه برای آن بازه زمانی است. فرمت نام فایل .gz:

4DigitRandomHex_StartTime.StartTimePlusInterval_internalHostIP_hostUUID_writer_index.txt.gz

در فواصل زمانی منظم، Edge دایرکتوری و فایل .gz موجود در آن را از /tmp به یکی از دایرکتوری های زیر، بر اساس تنظیمات ویژگی پیکربندی پردازشگر پیام uploadToCloud منتقل می کند:

• uploadToCloud = false : فایل‌ها به /opt/apigee/var/log/edge-message-processor/ax/staging منتقل شدند
• uploadToCloud = true: (پیش‌فرض): فایل‌ها به /opt/apigee/var/log/edge-message-processor/ax/failed منتقل می‌شوند.

برای به دست آوردن فایل های داده های تجزیه و تحلیل، داده ها را از دایرکتوری /staging یا /failed باز کنید.

ویژگی های پیکربندی

از ویژگی های زیر برای پیکربندی Message Processor برای نوشتن داده های تحلیلی روی دیسک استفاده کنید. همه این ویژگی ها اختیاری هستند:

برای تنظیم این ویژگی ها:

1. فایل message-processor.properties را در یک ویرایشگر باز کنید. اگر فایل وجود ندارد، آن را ایجاد کنید:

   vi /opt/apigee/customer/application/message-processor.properties

2. خواص را به صورت دلخواه تنظیم کنید:

   # Enable writing analytics data to disk.
   conf_analytics_analytics.saveToDisk=true
   # Disable writing analytics data to Qpid/Postgres.
   conf_analytics_analytics.sendToQueue=false
   
   # Specify base directory for analytics data files.
   conf_analytics_analytics.baseDataDirectoryPath=/opt/apigee/var/smg
   
   # Set the disk space available for analytics files.
   conf_analytics_analytics.allocatedDiskSpaceInMBytes=3072
   # Move final analytics data to files to the /staging directory.
   conf_analytics_analytics.uploadToCloud=false

3. تغییرات خود را ذخیره کنید

4. مطمئن شوید که فایل خواص متعلق به کاربر "apigee" است:

   chown apigee:apigee /opt/apigee/customer/application/message-processor.properties

5. مقدار ویژگی consumer-type را برای گروه تحلیلی axgroup-001 روی ax تنظیم کنید:

   curl -X POST -H "Content-Type:application/json" \
   "http://ms-ip:8080/v1/analytics/groups/ax/axgroup-001/properties?propName=consumer-type&propValue=ax" \
   -u sysAdminEmail:sysAdminPWord

   به طور پیش فرض، نام گروه تجزیه و تحلیل axgroup-001 است. در فایل پیکربندی برای نصب Edge، می‌توانید با استفاده از ویژگی AXGROUP نام گروه تجزیه و تحلیل را تنظیم کنید. اگر از نام گروه تجزیه و تحلیل مطمئن نیستید، دستور زیر را در گره مدیریت سرور اجرا کنید تا نمایش داده شود:

   apigee-adminapi.sh analytics groups list \
     --admin sysAdminEmail --pwd sysAdminPword --host localhost

   این دستور نام گروه تجزیه و تحلیل را در قسمت name برمی گرداند.

6. پردازشگر پیام را مجددا راه اندازی کنید:

   /opt/apigee/apigee-service/bin/apigee-service edge-message-processor restart

   پس از راه اندازی مجدد، پردازشگر پیام داده های تجزیه و تحلیل را در فایل های داده می نویسد.

7. این مراحل را برای همه پردازشگرهای پیام تکرار کنید.