Analytics データが Qpidd のデッドレター キューでスタックする

<ph type="x-smartling-placeholder"></ph> 現在、Apigee Edge のドキュメントが表示されています。
Apigee X のドキュメント。 詳細

症状

Qpidd サーバーが分析メッセージを PostgreSQL に転送しないため、Edge UI に分析データが表示されません。Edge では、edge-qpid-server コンポーネントは Qpidd サーバーに対応します。

Qpidd は、分析グループごとに 2 つのキューを維持します。

  • ax-q-axgroup001-consumer-group-001

    このキューには、Message Processor と Router から push された分析メッセージが保持されます。メッセージは、メッセージを解析して PostgreSQL に挿入する edge-qpid-server によって、ここから pull されます。メッセージが正常に処理されると、キューから削除されます。

  • ax-q-axgroup001-consumer-group-001-dl

    このキューはデッドレター キューです。これは、edge-qpid-server が処理に失敗したため受信したくないメッセージの宛先として機能します。これは通常、最大配信数を超えた場合、またはランタイム エラーが原因で PostgreSQL が新しいデータの挿入を拒否した場合に入力されます。

エラー メッセージ

根本原因は、edge-qpid-server コンポーネントのさまざまなランタイム エラーにある可能性があります。通常、edge-qpid-server は PostgreSQL からランタイム エラーを受け取った場合、デッドレター キューが存在しない場合は作成し、そこに次のメッセージを送信します。

yyyy-MM-dd HH:mm:ss,SSS ax-q-axgroup001-consumer-group-001-persistpool-thread-6 WARN c.a.a.m.MessageConsumer - MessageConsumer.process() : Sending message batch to the DLQ.

考えられる原因

原因 説明 トラブルシューティング手順の適用対象
qpidd のデッドレター キューでメッセージが停止する edge-qpid-server が Qpidd ブローカーから読み取ったメッセージを認識できなかったか、PostgreSQL にメッセージを保持できませんでした。 Edge Private Cloud ユーザー

共通の診断手順

次のコマンドを実行して、Qpidd キューの統計情報を表示します。

qpid-stat -q

出力で、ブローカーに登録されている一連のキューが返されます。名前が「-dl」で終わるキューがメッセージが入力されていて、メッセージがデッドレター キューにとどまっている場合。

Queues
  queue                                     dur  autoDel  excl  msg   msgIn  msgOut  bytes  bytesIn  bytesOut   cons  bind
  ========================================================================================================================
  ax-q-axgroup-001-consumer-group-001       Y                   0     185    185     0       13.8m   13.8m      6      2
  ax-q-axgroup-001-consumer-group-001-dl    Y                   0     70     70      0        3.9m    3.9m      0      2

原因: qpidd のデッドレター キューでメッセージが停止する

診断

この条件は、次のシナリオで発生する可能性があります。

  1. 以前アップグレードが行われ、その間に PostgreSQL がダウンしました。
  2. ネットワークの問題による PostgreSQL の一時的な停止。
  3. edge-qpid-server が PostgreSQL にメッセージを送信しようとしましたが、PostgreSQL からランタイム エラーが返されました。

解決策

  1. 共通の診断手順からキューの名前をメモします。例:

    • ax-q-axgroup-001-consumer-group-001
    • ax-q-axgroup-001-consumer-group-001-dl

  2. qpid-tool コマンドを実行して、インタラクティブな qpid プロンプトを入力します。

    qpid-tool

    このコマンドは以下を返します。

    Management Tool for QPID
qpid:

  3. list broker を実行して、アクティブなブローカーのリストを取得します。

    list broker

    このコマンドは以下を返します。

    Object Summary:
ID   Created   Destroyed  Index
=======================================
125  21:00:00  -          amqp-broker

    ここで、ID 列にはブローカーの ID を指定します。

  4. ブローカーの ID をメモします。この例では 125 です。

  5. 次のコマンドを実行して、メッセージをデッドレター キューから実際のキューに戻します。

    call 125 queueMoveMessages ax-q-axgroup-001-consumer-group-001-dl ax-q-axgroup-001-consumer-group-001 100000 {}

    このコマンドは以下を返します。

    OK (0) - {}

    出力がない場合は、何もせずに、移動するメッセージがないことを意味します。OK(0) が表示されない場合は、Apigee Edge サポートにお問い合わせください。

  6. qpid-tool ターミナルを終了します。

    quit

  7. 5 分待ってから、一般的な診断手順の診断手順をもう一度行います。実際のキューのメッセージが処理されていることを確認し、デッドレター メッセージ数が 0 のままであることを確認します。

問題が解決しない場合は、次のセクションに進みます。

診断情報の収集が必要な場合

上記の手順でも問題が解決しない場合は、次の診断情報を収集してください。Apigee Edge サポートに連絡して共有します。

  • Qpidd のログ: /opt/apigee/var/log/apigee-qpidd/apigee-qpidd.log
  • Postgresql ログ: /opt/apigee/var/log/apigee-postgresql/apigee-postgresql.log
  • Edge-qpid-server のログ: /opt/apigee/var/log/edge-qpid-server/logs/system.log
  • Edge-postgres-server のログ:/opt/apigee/var/log/edge-postgres-server/logs/system.log

  • Qpidd のキュー統計情報:

    qpid-stat -q

  • 次の curl コマンドで返される分析グループ:

    curl -u sysadminEmail:password http://mgmt:8080/v1/analytics/groups/ax