デフォルトでは、Message Processor によって収集された分析データは Qpid と Postgres にアップロードされて処理されます。その後、処理された分析データを Edge UI で見ることができます。
別の方法として、分析データをディスクに書き込むように Message Processor を構成し、それらのデータをお客様独自の分析システムにアップロードして分析することもできます。たとえば、Google Cloud BigQuery にデータをアップロードし、BigQuery および TensorFlow の強力なクエリ機能と機械学習機能を活用して独自のデータ分析を行うことができます。
両方のオプションを使用することも可能です。つまり、分析データを Qpid / Postgres にアップロードし、同じデータをディスクに保存できます。
ファイルの名前と場所
デフォルトでは、ディスク ファイルへの分析データの書き込みを有効にすると、それらのファイルは次のディレクトリに書き込まれます。
/opt/apigee/var/log/edge-message-processor/ax/tmp
/tmp
の下にデータファイル用の新しいディレクトリが 1 分間隔で作成されます。ディレクトリ名の形式は次のとおりです。
org~env~yyyyMMddhhmmss
例:
myorg~prod~20190909163500 myorg~prod~20190909163600
各ディレクトリには、その時間間隔の個々のデータファイルを含む .gz ファイルが含まれます。.gz ファイル名の形式は次のとおりです。
4DigitRandomHex_StartTime.StartTimePlusInterval_internalHostIP_hostUUID_writer_index.txt.gz
このディレクトリとそこに含まれる .gz ファイルは、定期的に /tmp
から次のどちらかのディレクトリに移動されます。どちらに移動されるかは、Message Processor の uploadToCloud
構成プロパティの設定によって決まります。
uploadToCloud = false
: ファイルは/opt/apigee/var/log/edge-message-processor/ax/staging
に移動されます。uploadToCloud = true:
(デフォルト): ファイルは/opt/apigee/var/log/edge-message-processor/ax/failed
に移動されます。
/staging
または /failed
ディレクトリにあるデータを解凍すると、分析データファイルを入手できます。
構成プロパティ
分析データをディスクに書き込むには、Message Processor の次のプロパティを使用します。これらのプロパティはすべて省略可能です。
プロパティ | 説明 |
---|---|
conf_analytics_analytics.saveToDisk
|
デフォルト値は |
conf_analytics_analytics.sendToQueue
|
デフォルト値は |
conf_analytics_analytics.baseDataDirectoryPath
|
分析データファイルを書き込む場所のベースパスを指定します。 デフォルト値は |
conf_analytics_analytics.allocatedDiskSpaceInMBytes
|
分析ファイル用に割り当てるディスク領域(メガバイト単位)を指定します。 デフォルト値は |
conf_analytics_analytics.uploadToCloud
|
分析ファイルの最終的な場所を制御します。
注: このプロパティは |
プロパティを設定するには:
message-processor.properties
ファイルをエディタで開きます。このファイルが存在しない場合は作成します。vi /opt/apigee/customer/application/message-processor.properties
必要に応じてプロパティを設定します。
# Enable writing analytics data to disk. conf_analytics_analytics.saveToDisk=true # Disable writing analytics data to Qpid/Postgres. conf_analytics_analytics.sendToQueue=false # Specify base directory for analytics data files. conf_analytics_analytics.baseDataDirectoryPath=/opt/apigee/var/smg # Set the disk space available for analytics files. conf_analytics_analytics.allocatedDiskSpaceInMBytes=3072 # Move final analytics data to files to the /staging directory. conf_analytics_analytics.uploadToCloud=false
- 変更を保存します。
プロパティ ファイルの所有者を「apigee」ユーザーにします。
chown apigee:apigee /opt/apigee/customer/application/message-processor.properties
axgroup-001
分析グループに関してconsumer-type
プロパティの値をax
に設定します。curl -X POST -H "Content-Type:application/json" \ "http://ms-ip:8080/v1/analytics/groups/ax/axgroup-001/properties?propName=consumer-type&propValue=ax" \ -u sysAdminEmail:sysAdminPWord
分析グループのデフォルトの名前は
axgroup-001
です。Edge インストール構成ファイルで、AXGROUP
プロパティを使用して分析グループの名前を設定できます。分析グループの名前がわからない場合は、Management Server ノードで次のコマンドを実行して確認します。apigee-adminapi.sh analytics groups list \ --admin sysAdminEmail --pwd sysAdminPword --host localhost
出力結果の
name
フィールドに分析グループの名前が示されています。Message Processor を再起動します。
/opt/apigee/apigee-service/bin/apigee-service edge-message-processor restart
Message Processor の再起動後、分析データはデータファイルに書き込まれます。
- すべての Message Processor で上記の手順を繰り返します。