Dados do Google Analytics presos na fila de mensagens inativas do Qpidd

Esta é a documentação do Apigee Edge.
Acesse Documentação da Apigee X.
informações

Sintoma

Os dados de análise estão ausentes na interface do Edge porque o servidor Qpidd não está transferindo as mensagens de análise para o PostgreSQL. No Edge, o componente edge-qpid-server corresponde ao servidor Qpidd.

O Qpidd mantém duas filas para cada grupo de análise:

  • ax-q-axgroup001-consumer-group-001

    Essa fila contém as mensagens de análise enviadas pelos processadores e roteadores de mensagem. As mensagens são extraídas daqui pelo edge-qpid-server, que analisa as mensagens e as insere no PostgreSQL. Quando as mensagens são processadas, elas são removidas da fila.

  • ax-q-axgroup001-consumer-group-001-dl

    Essa fila é a fila de mensagens mortas. Ele atua como o destino de mensagens que o edge-qpid-server falhou ao processar e, portanto, não quer mais receber. Normalmente, ele é preenchido quando a contagem máxima de entregas é excedida ou se o PostgreSQL rejeita a inserção de novos dados devido a erros de tempo de execução.

Mensagem de erro

A causa raiz pode ser devido a vários erros de execução do componente edge-qpid-server. Normalmente, se o edge-qpid-server receber um erro de execução do PostgreSQL, ele criará a fila de mensagens inativas (se ainda não houver) e enviará a seguinte mensagem para lá:

yyyy-MM-dd HH:mm:ss,SSS ax-q-axgroup001-consumer-group-001-persistpool-thread-6 WARN c.a.a.m.MessageConsumer - MessageConsumer.process() : Sending message batch to the DLQ.

Causas possíveis

Causa Descrição Instruções para solução de problemas aplicáveis
Mensagens presas na fila de mensagens inativas do qpidd O edge-qpid-server não entendeu as mensagens lidas do agente Qpidd ou não conseguiu manter as mensagens no PostgreSQL. Usuários da nuvem privada de borda

Etapas comuns do diagnóstico

Execute o seguinte comando para visualizar as estatísticas da fila do Qpidd:

qpid-stat -q

A saída retorna o conjunto de filas registrado com o agente. Se uma fila com nome terminado em "-dl" tiver mensagens preenchidas, haverá mensagens presas na fila de mensagens mortas.

Queues
  queue                                     dur  autoDel  excl  msg   msgIn  msgOut  bytes  bytesIn  bytesOut   cons  bind
  ========================================================================================================================
  ax-q-axgroup-001-consumer-group-001       Y                   0     185    185     0       13.8m   13.8m      6      2
  ax-q-axgroup-001-consumer-group-001-dl    Y                   0     70     70      0        3.9m    3.9m      0      2

Causa: mensagens presas na fila de mensagens inativas do qpidd

Diagnóstico

Essa condição pode acontecer nos seguintes cenários:

  1. Houve um upgrade no passado, durante o qual o PostgreSQL esteve inativo.
  2. Uma interrupção temporária do PostgreSQL devido a problemas de rede.
  3. O edge-qpid-server tentou enviar uma mensagem ao PostgreSQL, mas ele retornou um erro de tempo de execução.

Resolução

  1. Anote o nome das filas nas Etapas comuns de diagnóstico. Exemplo:

    • ax-q-axgroup-001-consumer-group-001
    • ax-q-axgroup-001-consumer-group-001-dl
  2. Execute o comando qpid-tool para inserir um prompt qpid interativo:

    qpid-tool

    Esse comando retorna o seguinte:

    Management Tool for QPID
    qpid:
  3. Execute list broker para ver uma lista de agentes ativos:

    list broker

    Esse comando retorna o seguinte:

    Object Summary:
    ID   Created   Destroyed  Index
    =======================================
    125  21:00:00  -          amqp-broker

    A coluna ID especifica o ID do agente.

  4. Anote o ID do agente. No exemplo, ele é 125.

  5. Execute o seguinte comando para mover as mensagens da fila de mensagens mortas de volta para a fila real:

    call 125 queueMoveMessages ax-q-axgroup-001-consumer-group-001-dl ax-q-axgroup-001-consumer-group-001 100000 {}

    Esse comando retorna o seguinte:

    OK (0) - {}

    Se não houver saída, não há nada para fazer, significando que não há mensagens para mover. Se OK(0) não aparecer, entre em contato com o suporte do Apigee Edge.

  6. Saia do terminal qpid-tool.

    quit
  7. Aguarde cinco minutos e execute as etapas de diagnóstico novamente em Etapas comuns de diagnóstico. Verifique se as mensagens na fila estão sendo processadas e se a contagem de mensagens inativas continua sendo 0.

Se o problema persistir, vá para a próxima seção.

É necessário coletar informações de diagnóstico

Se o problema persistir mesmo depois de seguir as instruções acima, colete as seguintes informações de diagnóstico. Entre em contato e compartilhe com o suporte do Apigee Edge:

  • Registros Qpidd: /opt/apigee/var/log/apigee-qpidd/apigee-qpidd.log
  • Registros do PostgreSQL: /opt/apigee/var/log/apigee-postgresql/apigee-postgresql.log
  • Registros do Edge-qpid-server: /opt/apigee/var/log/edge-qpid-server/logs/system.log
  • Registros do Edge-postgres-server:/opt/apigee/var/log/edge-postgres-server/logs/system.log
  • Estatísticas da fila do Qpidd:

    qpid-stat -q
  • Grupo de análise retornado pelo seguinte comando curl:

    curl -u sysadminEmail:password http://mgmt:8080/v1/analytics/groups/ax