किसी फ़ाइल में आंकड़े का डेटा लिखना

डिफ़ॉल्ट रूप से, मैसेज प्रोसेसर से इकट्ठा किए गए आंकड़ों का डेटा Qpid और Postgres पर अपलोड किया जाता है प्रोसेसिंग के लिए. इसके बाद, Edge के यूज़र इंटरफ़ेस (यूआई) में आंकड़ों का डेटा देखा जा सकता है.

इसके अलावा, डिस्क पर आंकड़ों का डेटा लिखने के लिए, मैसेज प्रोसेसर को कॉन्फ़िगर किया जा सकता है. इसके बाद, उस डेटा को विश्लेषण के लिए अपने Analytics सिस्टम में अपलोड किया जा सकता है. उदाहरण के लिए, आप डेटा को Google Cloud BigQuery में भेजना चाहते हैं. इसके बाद, असरदार क्वेरी और मशीन लर्निंग का फ़ायदा लिया जा सकता है ये सुविधाएं, BigQuery और TensorFlow की मदद से, अपने डेटा का विश्लेषण खुद करने के लिए उपलब्ध हैं.

आप दोनों विकल्पों का इस्तेमाल भी कर सकते हैं. इसका मतलब है कि आंकड़ों को इस पर अपलोड किया जा सकता है Qpid/postgres और डेटा को डिस्क में भी सेव करते हैं.

फ़ाइल के नाम और जगह की जानकारी

डिफ़ॉल्ट रूप से, अगर आपने डिस्क फ़ाइलों में Analytics डेटा लिखने की सुविधा चालू की है, तो फ़ाइलें नीचे दी गई डायरेक्ट्री:

/opt/apigee/var/log/edge-message-processor/ax/tmp

Edge, एक मिनट के अंतराल में डेटा फ़ाइलों के लिए /tmp के तहत एक नई डायरेक्ट्री बनाता है. डायरेक्ट्री के नाम का फ़ॉर्मैट यह है:

org~env~yyyyMMddhhmmss

उदाहरण के लिए:

myorg~prod~20190909163500
myorg~prod~20190909163600

हर डायरेक्ट्री में एक .gz फ़ाइल होती है, जिसमें उस इंटरवल के लिए अलग-अलग डेटा फ़ाइलें होती हैं. फ़ॉर्मैट .gz फ़ाइल का नाम यह है:

4DigitRandomHex_StartTime.StartTimePlusInterval_internalHostIP_hostUUID_writer_index.txt.gz

Edge, समय-समय पर /tmp में मौजूद डायरेक्ट्री और .gz फ़ाइल को एक जगह से दूसरी जगह ले जाता है को इनमें से किसी भी डायरेक्ट्री में इस्तेमाल किया जा सकता है. ऐसा uploadToCloud की सेटिंग के आधार पर किया जाता है मैसेज प्रोसेसर की कॉन्फ़िगरेशन प्रॉपर्टी:

• uploadToCloud = false: फ़ाइलें /opt/apigee/var/log/edge-message-processor/ax/staging में ले जाई गईं
• uploadToCloud = true: (डिफ़ॉल्ट): फ़ाइलें /opt/apigee/var/log/edge-message-processor/ax/failed में ले जाई जाती हैं

पाने के लिए, /staging या /failed डायरेक्ट्री से डेटा को अनज़िप करें आंकड़ों की डेटा फ़ाइलें.

कॉन्फ़िगरेशन प्रॉपर्टी

डिस्क पर आंकड़ों का डेटा लिखने के लिए, मैसेज प्रोसेसर को कॉन्फ़िगर करने के लिए नीचे दी गई प्रॉपर्टी का इस्तेमाल करें. ये सभी प्रॉपर्टी ज़रूरी नहीं हैं:

प्रॉपर्टी	ब्यौरा
conf_analytics_analytics.saveToDisk	डिस्क फ़ाइलों में विश्लेषण डेटा लिखने के लिए मैसेज प्रोसेसर को कॉन्फ़िगर करने के लिए true पर सेट करें. डिफ़ॉल्ट वैल्यू false है.
conf_analytics_analytics.sendToQueue	मैसेज प्रोसेसर को कॉन्फ़िगर करने के लिए, true पर सेट करें. इसके बाद, Qpid/Postgres पर डेटा अपलोड करें. Qpid/Postgres में, आंकड़ों का डेटा लिखने की सुविधा बंद करने के लिए, false पर सेट करें. डिफ़ॉल्ट वैल्यू true है.
conf_analytics_analytics.baseDataDirectoryPath	यह उस बेस पाथ के बारे में बताता है जहां Analytics डेटा फ़ाइलें लिखी जाती हैं. डिफ़ॉल्ट वैल्यू /opt/apigee/var/log/edge-message-processor/ax. है
conf_analytics_analytics.allocatedDiskSpaceInMBytes	यह Analytics फ़ाइलों के लिए तय की गई, डिस्क स्टोरेज को मेगाबाइट में तय करता है. डिफ़ॉल्ट वैल्यू 3072 है. अगर आपने आंकड़ों की डेटा फ़ाइलें सेव करने के लिए, मैसेज प्रोसेसर, आंकड़ों का डेटा सेव करना बंद कर देता है और एक गड़बड़ी का मैसेज लिखता है इसकी लॉग फ़ाइलों में.
conf_analytics_analytics.uploadToCloud	यह नीति, Analytics फ़ाइलों की आखिरी जगह को कंट्रोल करती है. false: फ़ाइलें /opt/apigee/var/log/edge-message-processor/ax/staging में ले जाई गईं true (डिफ़ॉल्ट): फ़ाइलें /opt/apigee/var/log/edge-message-processor/ax/failed में ट्रांसफ़र की जाती हैं ध्यान दें: भले ही इस प्रॉपर्टी को uploadToCloud कहा जाता है, लेकिन कोई डेटा नहीं होता क्लाउड पर अपलोड किया जाता है. आंकड़ों का सारा डेटा, आपके इंस्टॉलेशन में स्थानीय तौर पर सेव रहता है.

इन प्रॉपर्टी को सेट करने के लिए:

1. message-processor.properties फ़ाइल को एडिटर में खोलें. अगर फ़ाइल मौजूद नहीं है, तो इसे बनाएं:

   vi /opt/apigee/customer/application/message-processor.properties

2. प्रॉपर्टी को ज़रूरत के हिसाब से सेट करें:

   # Enable writing analytics data to disk.
   conf_analytics_analytics.saveToDisk=true
   # Disable writing analytics data to Qpid/Postgres.
   conf_analytics_analytics.sendToQueue=false
   
   # Specify base directory for analytics data files.
   conf_analytics_analytics.baseDataDirectoryPath=/opt/apigee/var/smg
   
   # Set the disk space available for analytics files.
   conf_analytics_analytics.allocatedDiskSpaceInMBytes=3072
   # Move final analytics data to files to the /staging directory.
   conf_analytics_analytics.uploadToCloud=false

3. बदलावों को सेव करें.

4. पक्का करें कि प्रॉपर्टी फ़ाइल का मालिकाना हक "apigee" के पास हो उपयोगकर्ता:

   chown apigee:apigee /opt/apigee/customer/application/message-processor.properties

5. इस प्रॉपर्टी के लिए, consumer-type प्रॉपर्टी की वैल्यू को ax पर सेट करें axgroup-001 ऐनलिटिक्स ग्रुप:

   curl -X POST -H "Content-Type:application/json" \
   "http://ms-ip:8080/v1/analytics/groups/ax/axgroup-001/properties?propName=consumer-type&propValue=ax" \
   -u sysAdminEmail:sysAdminPWord

   डिफ़ॉल्ट रूप से, Analytics ग्रुप का नाम axgroup-001 होता है. कॉन्फ़िगरेशन फ़ाइल में, Edge इंस्टॉलेशन, आपके पास AXGROUP प्रॉपर्टी का इस्तेमाल करके, Analytics ग्रुप का नाम सेट करने का विकल्प है. अगर आपको Analytics ग्रुप के नाम के बारे में नहीं पता, तो Management Server पर यह निर्देश चलाएं नोड पर क्लिक करें:

   apigee-adminapi.sh analytics groups list \
     --admin sysAdminEmail --pwd sysAdminPword --host localhost

   यह निर्देश, name फ़ील्ड में Analytics ग्रुप का नाम दिखाता है.

6. मैसेज प्रोसेसर को रीस्टार्ट करें:

   /opt/apigee/apigee-service/bin/apigee-service edge-message-processor restart

   रीस्टार्ट होने के बाद, मैसेज प्रोसेसर डेटा फ़ाइलों में आंकड़ों का डेटा लिखता है.

7. सभी मैसेज प्रोसेसर के लिए यह तरीका दोहराएं.