כתיבת נתוני ניתוח בקובץ

כברירת מחדל, נתוני ניתוח הנתונים שנאספים על ידי מעבד ההודעות מועלים ל-Qpid ול-Postgres לעיבוד. לאחר מכן אפשר להציג את ניתוח הנתונים בממשק המשתמש של Edge.

לחלופין, אפשר להגדיר את מעבד ההודעות כך שיכתוב ניתוח נתונים בדיסק. לאחר מכן תוכלו להעלות את הנתונים האלה למערכת משלכם לניתוח נתונים, לצורך ניתוח הנתונים. לדוגמה, אפשר להעלות את הנתונים ל-Google Cloud BigQuery. לאחר מכן תוכלו להשתמש ביכולות המתקדמות של השאילתות ולמידת המכונה יכולות של BigQuery ו-TensorFlow לביצוע ניתוח נתונים משלכם.

אפשר גם להשתמש בשתי האפשרויות. כלומר אפשר להעלות את הנתונים מ-Analytics אל Qpid/Postgres ושמירת הנתונים בדיסק.

שמות הקבצים והמיקום שלהם

כברירת מחדל, אם מפעילים כתיבה של ניתוח נתונים בקובצי דיסק, הקבצים נכתבים את הספרייה הבאה:

/opt/apigee/var/log/edge-message-processor/ax/tmp

Edge יוצר ספרייה חדשה בקטע /tmp לקובצי הנתונים, במרווחי זמן של דקה אחת. הפורמט של שם הספרייה הוא:

org~env~yyyyMMddhhmmss

לדוגמה:

myorg~prod~20190909163500
myorg~prod~20190909163600

כל ספרייה מכילה קובץ .gz עם קובצי הנתונים הנפרדים של אותו פרק זמן. הפורמט של שם קובץ ה- .gz הוא:

4DigitRandomHex_StartTime.StartTimePlusInterval_internalHostIP_hostUUID_writer_index.txt.gz

במרווחי זמן קבועים, Edge מעביר את הספרייה ואת קובץ ה- .gz שהוא מכיל מ-/tmp לאחת מהספריות הבאות, על סמך ההגדרה של uploadToCloud מאפיין תצורה של מעבד הודעות:

• uploadToCloud = false: הקבצים הועברו אל /opt/apigee/var/log/edge-message-processor/ax/staging
• uploadToCloud = true: (ברירת מחדל): העברת קבצים אל /opt/apigee/var/log/edge-message-processor/ax/failed

מחלצים את הנתונים מהספרייה /staging או /failed כדי לקבל בקובצי הנתונים של ניתוח הנתונים.

מאפייני ההגדרות האישיות

השתמשו במאפיינים הבאים כדי להגדיר את מעבד ההודעות כך שיכתוב ניתוח נתונים בדיסק. כל המאפיינים הבאים הם אופציונליים:

כדי להגדיר את המאפיינים האלה:

1. פותחים את הקובץ message-processor.properties בעורך. אם הקובץ לא קיים, יוצרים אותו:

   vi /opt/apigee/customer/application/message-processor.properties

2. מגדירים את המאפיינים שרוצים:

   # Enable writing analytics data to disk.
   conf_analytics_analytics.saveToDisk=true
   # Disable writing analytics data to Qpid/Postgres.
   conf_analytics_analytics.sendToQueue=false
   
   # Specify base directory for analytics data files.
   conf_analytics_analytics.baseDataDirectoryPath=/opt/apigee/var/smg
   
   # Set the disk space available for analytics files.
   conf_analytics_analytics.allocatedDiskSpaceInMBytes=3072
   # Move final analytics data to files to the /staging directory.
   conf_analytics_analytics.uploadToCloud=false

3. שומרים את השינויים.

4. צריך לוודא שקובץ המאפיינים נמצא בבעלות ה-apigee user:

   chown apigee:apigee /opt/apigee/customer/application/message-processor.properties

5. צריך להגדיר את הערך של המאפיין consumer-type כ-ax עבור קבוצת ניתוח נתונים axgroup-001:

   curl -X POST -H "Content-Type:application/json" \
   "http://ms-ip:8080/v1/analytics/groups/ax/axgroup-001/properties?propName=consumer-type&propValue=ax" \
   -u sysAdminEmail:sysAdminPWord

   כברירת מחדל, השם של קבוצת ניתוח הנתונים הוא axgroup-001. בקובץ התצורה של התקנת Edge, אפשר להגדיר את השם של קבוצת ניתוח הנתונים באמצעות הנכס AXGROUP. אם אתם לא בטוחים מה השמות של קבוצות ניתוח הנתונים, מריצים את הפקודה הבאה בשרת הניהול צומת כדי להציג אותו:

   apigee-adminapi.sh analytics groups list \
     --admin sysAdminEmail --pwd sysAdminPword --host localhost

   הפקודה הזו מחזירה את השם של קבוצת ניתוח הנתונים בשדה name.

6. מפעילים מחדש את מעבד ההודעות:

   /opt/apigee/apigee-service/bin/apigee-service edge-message-processor restart

   אחרי ההפעלה מחדש, מעבד ההודעות כותב ניתוח נתונים בקובצי הנתונים.

7. חוזרים על השלבים האלה בכל מעבדי ההודעות.