Запись данных аналитики в файл

По умолчанию аналитические данные, собранные обработчиком сообщений, загружаются в Qpid и Postgres для обработки. Затем вы можете просмотреть аналитические данные в пользовательском интерфейсе Edge.

Альтернативно вы можете настроить процессор сообщений для записи аналитических данных на диск. Затем вы можете загрузить эти данные в свою собственную аналитическую систему для анализа. Например, вы можете загрузить данные в Google Cloud BigQuery. Затем вы можете воспользоваться мощными возможностями запросов и машинного обучения, предлагаемыми BigQuery и TensorFlow, для выполнения собственного анализа данных.

Вы также можете использовать оба варианта. Это означает, что вы можете загрузить аналитические данные в Qpid/Postgres, а также сохранить данные на диск.

Имена и расположение файлов

По умолчанию, если вы включите запись аналитических данных в файлы на диске, файлы записываются в следующий каталог:

/opt/apigee/var/log/edge-message-processor/ax/tmp

Edge создает новый каталог в /tmp для файлов данных с интервалом в одну минуту. Формат имени каталога:

org~env~yyyyMMddhhmmss

Например:

myorg~prod~20190909163500
myorg~prod~20190909163600

В каждом каталоге содержится файл .gz с отдельными файлами данных за этот интервал. Формат имени файла .gz:

4DigitRandomHex_StartTime.StartTimePlusInterval_internalHostIP_hostUUID_writer_index.txt.gz

Через регулярные промежутки времени Edge перемещает каталог и содержащийся в нем файл .gz из /tmp в любой из следующих каталогов в зависимости от настройки свойства конфигурации процессора сообщений uploadToCloud :

• uploadToCloud = false : файлы перемещены в /opt/apigee/var/log/edge-message-processor/ax/staging
• uploadToCloud = true: (по умолчанию): файлы перемещаются в /opt/apigee/var/log/edge-message-processor/ax/failed

Разархивируйте данные из каталога /staging или /failed , чтобы получить файлы аналитических данных.

Свойства конфигурации

Используйте следующие свойства, чтобы настроить процессор сообщений для записи аналитических данных на диск. Все эти свойства являются необязательными:

Чтобы установить эти свойства:

1. Откройте файл message-processor.properties в редакторе. Если файл не существует, создайте его:

   vi /opt/apigee/customer/application/message-processor.properties

2. Установите свойства по желанию:

   # Enable writing analytics data to disk.
   conf_analytics_analytics.saveToDisk=true
   # Disable writing analytics data to Qpid/Postgres.
   conf_analytics_analytics.sendToQueue=false
   
   # Specify base directory for analytics data files.
   conf_analytics_analytics.baseDataDirectoryPath=/opt/apigee/var/smg
   
   # Set the disk space available for analytics files.
   conf_analytics_analytics.allocatedDiskSpaceInMBytes=3072
   # Move final analytics data to files to the /staging directory.
   conf_analytics_analytics.uploadToCloud=false

3. Сохраните изменения.

4. Убедитесь, что файл свойств принадлежит пользователю «apigee»:

   chown apigee:apigee /opt/apigee/customer/application/message-processor.properties

5. Установите для свойства consumer-type значение ax для группы аналитики axgroup-001 :

   curl -X POST -H "Content-Type:application/json" \
   "http://ms-ip:8080/v1/analytics/groups/ax/axgroup-001/properties?propName=consumer-type&propValue=ax" \
   -u sysAdminEmail:sysAdminPWord

   По умолчанию имя группы аналитики — axgroup-001 . В файле конфигурации для установки Edge вы можете задать имя группы аналитики, используя свойство AXGROUP . Если вы не уверены в именах группы аналитики, выполните следующую команду на узле Management Server, чтобы отобразить ее:

   apigee-adminapi.sh analytics groups list \
     --admin sysAdminEmail --pwd sysAdminPword --host localhost

   Эта команда возвращает имя группы аналитики в поле name .

6. Перезапустите процессор сообщений:

   /opt/apigee/apigee-service/bin/apigee-service edge-message-processor restart

   После перезапуска процессор сообщений записывает аналитические данные в файлы данных.

7. Повторите эти шаги для всех процессоров сообщений.