Analytics データが Qpidd のデッドレター キューでスタックする

Apigee Edge のドキュメントが表示されています。
Apigee X のドキュメントに移動します。
情報

症状

Qpidd サーバーが分析メッセージを PostgreSQL に転送しないため、Edge UI に分析データが表示されません。Edge では、edge-qpid-server コンポーネントは Qpidd サーバーに対応します。

Qpidd は、各分析グループに 2 つのキューを保持します。

  • ax-q-axgroup001-consumer-group-001

    このキューには、Message Processor と Router から push された分析メッセージが保持されます。メッセージは、メッセージを解析して PostgreSQL に挿入する edge-qpid-server によってここから取得されます。メッセージが正常に処理されると、キューから削除されます。

  • ax-q-axgroup001-consumer-group-001-dl

    このキューはデッドレター キューです。edge-qpid-server が処理に失敗し、受信を希望しなくなったメッセージの宛先として機能します。通常、これは最大配信回数を超えた場合や、ランタイム エラーにより PostgreSQL が新しいデータの挿入を拒否した場合に設定されます。

エラー メッセージ

根本原因は、edge-qpid-server コンポーネントのさまざまなランタイム エラーが原因である可能性があります。通常、edge-qpid-server が PostgreSQL からランタイム エラーを受信すると、デッドレター キューが存在しない場合は作成し、次のメッセージを送信します。

yyyy-MM-dd HH:mm:ss,SSS ax-q-axgroup001-consumer-group-001-persistpool-thread-6 WARN c.a.a.m.MessageConsumer - MessageConsumer.process() : Sending message batch to the DLQ.

考えられる原因

原因 説明 トラブルシューティング手順の適用対象
qpidd のデッドレター キューでメッセージがスタックする edge-qpid-server は、Qpidd ブローカーから読み取ったメッセージを理解できなかったか、PostgreSQL にメッセージを永続化できませんでした。 Edge Private Cloud ユーザー

共通の診断手順

次のコマンドを実行して、Qpidd キューの統計情報を表示します。

qpid-stat -q

出力には、ブローカーに登録されているキューのセットが返されます。名前が「-dl」で終わるキューにメッセージが入力されている場合、デッドレター キューにメッセージが詰まっています。

Queues
  queue                                     dur  autoDel  excl  msg   msgIn  msgOut  bytes  bytesIn  bytesOut   cons  bind
  ========================================================================================================================
  ax-q-axgroup-001-consumer-group-001       Y                   0     185    185     0       13.8m   13.8m      6      2
  ax-q-axgroup-001-consumer-group-001-dl    Y                   0     70     70      0        3.9m    3.9m      0      2

原因: メッセージが qpidd のデッドレター キューでスタックしている

診断

この状態は、次のシナリオで発生する可能性があります。

  1. 過去にアップグレードが行われ、その間 PostgreSQL がダウンしていました。
  2. ネットワークの問題による PostgreSQL の一時的な停止。
  3. edge-qpid-server が PostgreSQL にメッセージを送信しようとしましたが、PostgreSQL がランタイム エラーを返しました。

解決策

  1. 共通の診断手順からキューの名前をメモします。次に例を示します。

    • ax-q-axgroup-001-consumer-group-001
    • ax-q-axgroup-001-consumer-group-001-dl
  2. qpid-tool コマンドを実行して、インタラクティブな qpid プロンプトを入力します。

    qpid-tool

    このコマンドは次の結果を返します。

    Management Tool for QPID
    qpid:
  3. list broker を実行して、アクティブなブローカーのリストを取得します。

    list broker

    このコマンドは次の結果を返します。

    Object Summary:
    ID   Created   Destroyed  Index
    =======================================
    125  21:00:00  -          amqp-broker

    ここで、ID 列はブローカーの ID を指定します。

  4. ブローカーの ID をメモします。この例では 125 です。

  5. 次のコマンドを実行して、デッドレター キューから実際のキューにメッセージを移動します。

    call 125 queueMoveMessages ax-q-axgroup-001-consumer-group-001-dl ax-q-axgroup-001-consumer-group-001 100000 {}

    このコマンドは次の結果を返します。

    OK (0) - {}

    出力がない場合は、何も行う必要がない、つまり移動するメッセージがないことを意味します。OK(0) が表示されない場合は、Apigee Edge サポートにお問い合わせください。

  6. qpid-tool ターミナルを終了します。

    quit
  7. 5 分待ってから、共通の診断手順の手順をもう一度実行します。実際のキューのメッセージが処理されていることを確認し、デッドレター メッセージの数が 0 のままであることを確認します。

問題が解決しない場合は、次のセクションに進みます。

診断情報の収集が必要な場合

上記の手順を行っても問題が解決しない場合は、次の診断情報を収集してください。Apigee Edge サポートに連絡して、次の情報を共有します。

  • Qpidd ログ: /opt/apigee/var/log/apigee-qpidd/apigee-qpidd.log
  • Postgresql のログ: /opt/apigee/var/log/apigee-postgresql/apigee-postgresql.log
  • Edge-qpid-server ログ: /opt/apigee/var/log/edge-qpid-server/logs/system.log
  • edge-postgres-server ログ:/opt/apigee/var/log/edge-postgres-server/logs/system.log
  • Qpidd キューの統計情報:

    qpid-stat -q
  • 次の curl コマンドで返される分析グループ:

    curl -u sysadminEmail:password http://mgmt:8080/v1/analytics/groups/ax