Запись данных аналитики в файл

По умолчанию аналитические данные, собранные обработчиком сообщений, загружаются в Qpid и Postgres для обработки. Затем вы можете просмотреть аналитические данные в пользовательском интерфейсе Edge.

Альтернативно вы можете настроить процессор сообщений для записи аналитических данных на диск. Затем вы можете загрузить эти данные в свою собственную аналитическую систему для анализа. Например, вы можете загрузить данные в Google Cloud BigQuery. Затем вы сможете воспользоваться мощными возможностями запросов и машинного обучения, предлагаемыми BigQuery и TensorFlow, для выполнения собственного анализа данных.

Вы также можете использовать оба варианта. Это означает, что вы можете загрузить аналитические данные в Qpid/Postgres, а также сохранить данные на диск.

Имена и расположение файлов

По умолчанию, если вы включите запись аналитических данных в файлы на диске, файлы записываются в следующий каталог:

/opt/apigee/var/log/edge-message-processor/ax/tmp

Edge создает новый каталог в /tmp для файлов данных с интервалом в одну минуту. Формат имени каталога:

org~env~yyyyMMddhhmmss

Например:

myorg~prod~20190909163500
myorg~prod~20190909163600

В каждом каталоге содержится файл .gz с отдельными файлами данных за этот интервал. Формат имени файла .gz:

4DigitRandomHex_StartTime.StartTimePlusInterval_internalHostIP_hostUUID_writer_index.txt.gz

Edge через регулярные промежутки времени перемещает каталог и содержащийся в нем файл .gz из /tmp в любой из следующих каталогов в зависимости от настройки свойства конфигурации процессора сообщений uploadToCloud :

  • uploadToCloud = false : файлы перемещены в /opt/apigee/var/log/edge-message-processor/ax/staging
  • uploadToCloud = true: (по умолчанию): файлы перемещаются в /opt/apigee/var/log/edge-message-processor/ax/failed

Разархивируйте данные из каталога /staging или /failed , чтобы получить файлы аналитических данных.

Свойства конфигурации

Используйте следующие свойства, чтобы настроить процессор сообщений для записи аналитических данных на диск. Все эти свойства являются необязательными:

Свойство Описание
conf_analytics_analytics.saveToDisk

Установите значение true , чтобы настроить процессор сообщений для записи аналитических данных в файлы на диске.

Значение по умолчанию — false .

conf_analytics_analytics.sendToQueue

Установите значение true , чтобы настроить процессор сообщений для загрузки данных в Qpid/Postgres. Установите значение false , чтобы отключить запись аналитических данных в Qpid/Postgres.

Значение по умолчанию — true .

conf_analytics_analytics.baseDataDirectoryPath

Указывает базовый путь, по которому записываются файлы аналитических данных.

Значение по умолчанию — /opt/apigee/var/log/edge-message-processor/ax.

conf_analytics_analytics.allocatedDiskSpaceInMBytes

Указывает дисковое пространство в мегабайтах, выделенное для файлов аналитики.

Значение по умолчанию — 3072 . Если вы превысите выделенное дисковое пространство для файлов аналитических данных, процессор сообщений прекратит сохранение аналитических данных и запишет сообщение об ошибке в свои файлы журналов.

conf_analytics_analytics.uploadToCloud

Управляет конечным расположением файлов аналитики.

  • false : файлы перемещены в /opt/apigee/var/log/edge-message-processor/ax/staging
  • true (по умолчанию): файлы перемещаются в /opt/apigee/var/log/edge-message-processor/ax/failed

Примечание . Несмотря на то, что это свойство называется uploadToCloud , данные в облако не загружаются. Все аналитические данные остаются локальными для вашей установки.

Чтобы установить эти свойства:

  1. Откройте файл message-processor.properties в редакторе. Если файл не существует, создайте его:

    vi /opt/apigee/customer/application/message-processor.properties

  2. Установите свойства по желанию:

    # Enable writing analytics data to disk.
conf_analytics_analytics.saveToDisk=true
# Disable writing analytics data to Qpid/Postgres.
conf_analytics_analytics.sendToQueue=false

# Specify base directory for analytics data files.
conf_analytics_analytics.baseDataDirectoryPath=/opt/apigee/var/smg

# Set the disk space available for analytics files.
conf_analytics_analytics.allocatedDiskSpaceInMBytes=3072
# Move final analytics data to files to the /staging directory.
conf_analytics_analytics.uploadToCloud=false
  3. Сохраните изменения.

  4. Убедитесь, что файл свойств принадлежит пользователю «apigee»:

    chown apigee:apigee /opt/apigee/customer/application/message-processor.properties

  5. Установите для свойства consumer-type значение ax для группы аналитики axgroup-001 :

    curl -X POST -H "Content-Type:application/json" \
"http://ms-ip:8080/v1/analytics/groups/ax/axgroup-001/properties?propName=consumer-type&propValue=ax" \
-u sysAdminEmail:sysAdminPWord

    По умолчанию имя группы аналитики — axgroup-001 . В файле конфигурации для установки Edge вы можете задать имя группы аналитики, используя свойство AXGROUP . Если вы не уверены в именах группы аналитики, выполните следующую команду на узле Management Server, чтобы отобразить ее:

    apigee-adminapi.sh analytics groups list \
  --admin sysAdminEmail --pwd sysAdminPword --host localhost

    Эта команда возвращает имя группы аналитики в поле name .

  6. Перезапустите процессор сообщений: 

    /opt/apigee/apigee-service/bin/apigee-service edge-message-processor restart

    После перезапуска процессор сообщений записывает аналитические данные в файлы данных.

  7. Повторите эти шаги для всех процессоров сообщений.