分析データをファイルに書き込む

デフォルトでは、Message Processor によって収集された分析データは、処理のために Qpid と Postgres にアップロードされます。その後、Edge UI で分析データを表示できます。

または、分析データをディスクに書き込むように Message Processor を構成することもできます。その後、そのデータを独自の分析システムにアップロードして分析できます。たとえば、データを Google Cloud BigQuery にアップロードできます。さらに、BigQuery と TensorFlow が提供する強力なクエリ機能と ML 機能を利用して、独自のデータ分析を行うことができます。

両方のオプションを使用することもできます。つまり、分析データを Qpid/Postgres にアップロードし、データをディスクに保存することもできます。

ファイル名と場所

デフォルトでは、分析データのディスク ファイルへの書き込みを有効にすると、ファイルは次のディレクトリに書き込まれます。

/opt/apigee/var/log/edge-message-processor/ax/tmp

Edge は、データファイル用に /tmp の下に新しいディレクトリを 1 分間隔で作成します。ディレクトリ名の形式は次のとおりです。

org~env~yyyyMMddhhmmss

次に例を示します。

myorg~prod~20190909163500
myorg~prod~20190909163600

各ディレクトリには、その間隔の個々のデータファイルを含む .gz ファイルが含まれています。.gz ファイル名の形式は次のとおりです。

4DigitRandomHex_StartTime.StartTimePlusInterval_internalHostIP_hostUUID_writer_index.txt.gz

Edge は、uploadToCloud Message Processor 構成プロパティの設定に基づいて、定期的にディレクトリとそのディレクトリに含まれる .gz ファイルを /tmp から次のいずれかのディレクトリに移動します。

  • uploadToCloud = false: ファイルを /opt/apigee/var/log/edge-message-processor/ax/staging に移動しました
  • uploadToCloud = true:（デフォルト）: ファイルは /opt/apigee/var/log/edge-message-processor/ax/failed に移動します。

/staging または /failed ディレクトリからデータを解凍して、分析データファイルを取得します。

構成プロパティ

次のプロパティを使用して、分析データをディスクに書き込むように Message Processor を構成します。これらのプロパティはすべて省略可能です。

プロパティ 説明
conf_analytics_analytics.saveToDisk

true に設定すると、分析データをディスク ファイルに書き込むように Message Processor が構成されます。

デフォルト値は false です。
conf_analytics_analytics.sendToQueue

true に設定すると、Message Processor が Qpid/Postgres にデータをアップロードするように構成されます。false に設定すると、Qpid/Postgres への分析データの書き込みが無効になります。

デフォルト値は true です。
conf_analytics_analytics.baseDataDirectoryPath

アナリティクス データファイルが書き込まれるベースパスを指定します。

デフォルト値は /opt/apigee/var/log/edge-message-processor/ax. です。
conf_analytics_analytics.allocatedDiskSpaceInMBytes

分析ファイルに割り当てられるディスク容量をメガバイト単位で指定します。

デフォルト値は 3072 です。分析データファイルに割り当てられたディスク容量を超えると、Message Processor は分析データの保存を停止し、ログファイルにエラー メッセージを書き込みます。
conf_analytics_analytics.uploadToCloud

分析ファイルの最終的な場所を制御します。

  • false: ファイルを /opt/apigee/var/log/edge-message-processor/ax/staging に移動しました
  • true（デフォルト）: ファイルは /opt/apigee/var/log/edge-message-processor/ax/failed に移動します。

注: このプロパティは uploadToCloud という名前ですが、データがクラウドにアップロードされることはありません。すべての分析データは、インストール環境にローカルに保存されます。

これらのプロパティを設定するには:

  1. message-processor.properties ファイルをエディタで開きます。ファイルが存在しない場合は作成します。

    vi /opt/apigee/customer/application/message-processor.properties

  2. 必要に応じてプロパティを設定します。

    # Enable writing analytics data to disk.
conf_analytics_analytics.saveToDisk=true
# Disable writing analytics data to Qpid/Postgres.
conf_analytics_analytics.sendToQueue=false

# Specify base directory for analytics data files.
conf_analytics_analytics.baseDataDirectoryPath=/opt/apigee/var/smg

# Set the disk space available for analytics files.
conf_analytics_analytics.allocatedDiskSpaceInMBytes=3072
# Move final analytics data to files to the /staging directory.
conf_analytics_analytics.uploadToCloud=false
  3. 変更を保存します。

  4. プロパティ ファイルが「apigee」ユーザーによって所有されていることを確認します。

    chown apigee:apigee /opt/apigee/customer/application/message-processor.properties

  5. axgroup-001 分析グループの consumer-type プロパティの値を ax に設定します。

    curl -X POST -H "Content-Type:application/json" \
"http://ms-ip:8080/v1/analytics/groups/ax/axgroup-001/properties?propName=consumer-type&propValue=ax" \
-u sysAdminEmail:sysAdminPWord

    デフォルトでは、アナリティクス グループの名前は axgroup-001 です。Edge インストールの構成ファイルで、AXGROUP プロパティを使用してアナリティクス グループの名前を設定できます。アナリティクス グループの名前がわからない場合は、Management Server ノードで次のコマンドを実行して表示します。

    apigee-adminapi.sh analytics groups list \
  --admin sysAdminEmail --pwd sysAdminPword --host localhost

    このコマンドは、name フィールドにアナリティクス グループ名を返します。

  6. Message Processor を再起動します。

    /opt/apigee/apigee-service/bin/apigee-service edge-message-processor restart

    再起動後、Message Processor は分析データをデータファイルに書き込みます。

  7. すべての Message Processor でこの手順を繰り返します。