একটি ফাইলে বিশ্লেষণ ডেটা লেখা

ডিফল্টরূপে, মেসেজ প্রসেসর দ্বারা সংগৃহীত বিশ্লেষণ ডেটা প্রক্রিয়াকরণের জন্য Qpid এবং Postgres-এ আপলোড করা হয়। তারপরে আপনি এজ UI-তে বিশ্লেষণ ডেটা দেখতে পারেন।

বিকল্পভাবে, আপনি ডিস্কে বিশ্লেষণ ডেটা লিখতে বার্তা প্রসেসর কনফিগার করতে পারেন। তারপরে, আপনি বিশ্লেষণের জন্য আপনার নিজস্ব বিশ্লেষণ সিস্টেমে সেই ডেটা আপলোড করতে পারেন। উদাহরণস্বরূপ, আপনি Google Cloud BigQuery-এ ডেটা আপলোড করতে পারেন। তারপর আপনি আপনার নিজস্ব ডেটা বিশ্লেষণ করতে BigQuery এবং TensorFlow দ্বারা অফার করা শক্তিশালী ক্যোয়ারী এবং মেশিন লার্নিং ক্ষমতার সুবিধা নিতে পারেন।

আপনি উভয় বিকল্প ব্যবহার করতেও বেছে নিতে পারেন। এর মানে আপনি Qpid/Postgres-এ বিশ্লেষণ ডেটা আপলোড করতে পারেন এবং ডিস্কে ডেটা সংরক্ষণ করতে পারেন।

ফাইলের নাম এবং অবস্থান

ডিফল্টরূপে, আপনি যদি ডিস্ক ফাইলগুলিতে বিশ্লেষণ ডেটা লেখা সক্ষম করেন, ফাইলগুলি নিম্নলিখিত ডিরেক্টরিতে লেখা হয়:

/opt/apigee/var/log/edge-message-processor/ax/tmp

এজ এক মিনিটের ব্যবধানে ডেটা ফাইলের জন্য /tmp অধীনে একটি নতুন ডিরেক্টরি তৈরি করে। ডিরেক্টরি নামের বিন্যাস হল:

org~env~yyyyMMddhhmmss

যেমন:

myorg~prod~20190909163500
myorg~prod~20190909163600

প্রতিটি ডিরেক্টরিতে সেই ব্যবধানের জন্য পৃথক ডেটা ফাইল সহ একটি .gz ফাইল থাকে। .gz ফাইলের নামের বিন্যাস হল:

4DigitRandomHex_StartTime.StartTimePlusInterval_internalHostIP_hostUUID_writer_index.txt.gz

uploadToCloud মেসেজ প্রসেসর কনফিগারেশন প্রপার্টির সেটিংয়ের উপর ভিত্তি করে নিয়মিত বিরতিতে, এজ ডাইরেক্টরি এবং .gz ফাইলটিকে /tmp থেকে নিম্নলিখিত যেকোনো একটি ডিরেক্টরিতে নিয়ে যায়:

  • uploadToCloud = false : ফাইলগুলি /opt/apigee/var/log/edge-message-processor/ax/staging এ সরানো হয়েছে
  • uploadToCloud = true: (ডিফল্ট): ফাইলগুলি /opt/apigee/var/log/edge-message-processor/ax/failed এ সরানো হয়

বিশ্লেষণ ডেটা ফাইলগুলি পেতে /staging বা /failed ডিরেক্টরি থেকে ডেটা আনজিপ করুন।

কনফিগারেশন বৈশিষ্ট্য

ডিস্কে বিশ্লেষণ ডেটা লিখতে বার্তা প্রসেসর কনফিগার করতে নিম্নলিখিত বৈশিষ্ট্যগুলি ব্যবহার করুন। এই সমস্ত বৈশিষ্ট্য ঐচ্ছিক:

সম্পত্তি বর্ণনা
conf_analytics_analytics.saveToDisk

ডিস্ক ফাইলগুলিতে বিশ্লেষণ ডেটা লিখতে বার্তা প্রসেসর কনফিগার করতে true সেট করুন।

ডিফল্ট মান false ।

conf_analytics_analytics.sendToQueue

বার্তা প্রসেসর কনফিগার করতে true সেট করুন Qpid/Postgres-এ ডেটা আপলোড করুন। Qpid/Postgres-এ বিশ্লেষণ ডেটা লেখা নিষ্ক্রিয় করতে false সেট করুন।

ডিফল্ট মান true ।

conf_analytics_analytics.baseDataDirectoryPath

বেস পাথ নির্দিষ্ট করে যেখানে বিশ্লেষণ ডেটা ফাইল লেখা হয়।

ডিফল্ট মান হল /opt/apigee/var/log/edge-message-processor/ax.

conf_analytics_analytics.allocatedDiskSpaceInMBytes

বিশ্লেষণ ফাইলের জন্য বরাদ্দ মেগাবাইটে ডিস্কের স্থান নির্দিষ্ট করে।

ডিফল্ট মান হল 3072 । আপনি বিশ্লেষণ ডেটা ফাইলের জন্য বরাদ্দকৃত ডিস্ক স্থান অতিক্রম করলে, বার্তা প্রসেসর বিশ্লেষণ ডেটা সংরক্ষণ করা বন্ধ করে দেয় এবং এর লগ ফাইলগুলিতে একটি ত্রুটি বার্তা লিখে।

conf_analytics_analytics.uploadToCloud

বিশ্লেষণ ফাইলের চূড়ান্ত অবস্থান নিয়ন্ত্রণ করে।

  • false : ফাইলগুলিকে /opt/apigee/var/log/edge-message-processor/ax/staging এ সরানো হয়েছে
  • true (ডিফল্ট): ফাইলগুলি /opt/apigee/var/log/edge-message-processor/ax/failed এ সরানো হয়

দ্রষ্টব্য : যদিও এই বৈশিষ্ট্যটিকে uploadToCloud বলা হয়, ক্লাউডে কোনও ডেটা আপলোড করা হয় না। সমস্ত বিশ্লেষণ ডেটা আপনার ইনস্টলেশনের জন্য স্থানীয় থাকে।

এই বৈশিষ্ট্যগুলি সেট করতে:

  1. একটি এডিটরে message-processor.properties ফাইলটি খুলুন। ফাইলটি বিদ্যমান না থাকলে, এটি তৈরি করুন:

    vi /opt/apigee/customer/application/message-processor.properties

  2. পছন্দ অনুযায়ী বৈশিষ্ট্য সেট করুন:

    # Enable writing analytics data to disk.
conf_analytics_analytics.saveToDisk=true
# Disable writing analytics data to Qpid/Postgres.
conf_analytics_analytics.sendToQueue=false

# Specify base directory for analytics data files.
conf_analytics_analytics.baseDataDirectoryPath=/opt/apigee/var/smg

# Set the disk space available for analytics files.
conf_analytics_analytics.allocatedDiskSpaceInMBytes=3072
# Move final analytics data to files to the /staging directory.
conf_analytics_analytics.uploadToCloud=false
  3. আপনার পরিবর্তন সংরক্ষণ করুন.

  4. নিশ্চিত করুন যে বৈশিষ্ট্য ফাইলটি "apigee" ব্যবহারকারীর মালিকানাধীন:

    chown apigee:apigee /opt/apigee/customer/application/message-processor.properties

  5. axgroup-001 বিশ্লেষণ গোষ্ঠীর জন্য consumer-type সম্পত্তির মান ax এ সেট করুন:

    curl -X POST -H "Content-Type:application/json" \
"http://ms-ip:8080/v1/analytics/groups/ax/axgroup-001/properties?propName=consumer-type&propValue=ax" \
-u sysAdminEmail:sysAdminPWord

    ডিফল্টরূপে, বিশ্লেষণ গোষ্ঠীর নাম হল axgroup-001 । এজ ইনস্টলেশনের জন্য কনফিগার ফাইলে, আপনি AXGROUP সম্পত্তি ব্যবহার করে বিশ্লেষণ গোষ্ঠীর নাম সেট করতে পারেন। আপনি যদি বিশ্লেষণ গোষ্ঠীর নাম সম্পর্কে অনিশ্চিত হন তবে এটি প্রদর্শন করতে ম্যানেজমেন্ট সার্ভার নোডে নিম্নলিখিত কমান্ডটি চালান:

    apigee-adminapi.sh analytics groups list \
  --admin sysAdminEmail --pwd sysAdminPword --host localhost

    এই কমান্ডটি name ক্ষেত্রে বিশ্লেষণ গোষ্ঠীর নাম প্রদান করে।

  6. বার্তা প্রসেসর পুনরায় চালু করুন: 

    /opt/apigee/apigee-service/bin/apigee-service edge-message-processor restart

    পুনঃসূচনা করার পরে, বার্তা প্রসেসর ডেটা ফাইলগুলিতে বিশ্লেষণ ডেটা লেখে।

  7. সমস্ত বার্তা প্রসেসরের জন্য এই পদক্ষেপগুলি পুনরাবৃত্তি করুন৷