503 Service Unavailable - Premature closure by backend server (Сервис недоступен – преждевременное закрытие внутренним сервером)

Вы просматриваете документацию по Apigee Edge.
Перейдите к документации по Apigee X.
Информация

Symptom

Клиентское приложение получает код статуса HTTP-ответа 503 с сообщением Service Unavailable после вызова прокси-сервера API.

Сообщение об ошибке

Клиентское приложение получает следующий код ответа:

HTTP/1.1 503 Service Unavailable

Кроме того, может появиться следующее сообщение об ошибке:

{
   "fault": {
      "faultstring": "The Service is temporarily unavailable",
      "detail": {
           "errorcode": "messaging.adaptors.http.flow.ServiceUnavailable"
       }
    }
}

Возможные причины

Причина Описание Инструкции по устранению неполадок, применимые к
Целевой сервер преждевременно закрывает подключение Целевой сервер преждевременно завершает подключение, пока Message Processor ещё отправляет полезную нагрузку запроса. Пользователи общедоступного и частного облака Edge

Распространенные этапы диагностики

Как определить идентификатор сообщения для запроса, который не удалось выполнить

Инструмент "Трассировка"

Чтобы определить идентификатор сообщения для запроса, который не удалось выполнить, с помощью инструмента трассировки:

  1. Если проблема не устранена, включите сеанс трассировки для API, в котором она возникла.
  2. Выполните вызов API и воспроизведите проблему – 503 Service Unavailable с кодом ошибки messaging.adaptors.http.flow.ServiceUnavailable..
  3. Выберите один из запросов, которые не удалось выполнить.
  4. Перейдите к фазе AX и определите идентификатор сообщения (X-Apigee.Message-ID) запроса, прокрутив вниз раздел Сведения о фазе, как показано на рисунке ниже.

    Идентификатор сообщения в разделе "Сведения об этапе"

Журналы доступа NGINX

Чтобы определить идентификатор сообщения для запроса, который не удалось выполнить, с помощью журналов доступа NGINX:

Чтобы определить идентификатор сообщения для ошибок 503, можно также обратиться к журналам доступа NGINX. Это особенно полезно, если проблема возникала в прошлом или возникает периодически и вы не можете записать трассировку в интерфейсе. Чтобы получить эту информацию из журналов доступа NGINX, выполните следующие действия:

  1. Проверьте журналы доступа NGINX: (/opt/apigee/var/log/edge-router/nginx/ORG~ENV.PORT#_access_log)
  2. Выполните поиск, чтобы узнать, были ли в определенный период времени 503 ошибки для определенного прокси-сервера API (если проблема возникла в прошлом) или есть ли запросы, которые по-прежнему завершаются с ошибкой 503.
  3. Если есть ошибки 503 с кодом X-Apigee-fault-code messaging.adaptors.http.flow.ServiceUnavailable, запишите идентификатор сообщения для одного или нескольких таких запросов, как показано в следующем примере:

    Пример записи с ошибкой 503

    Пример записи с кодом статуса, идентификатором сообщения, источником ошибки и кодом ошибки

Причина: целевой сервер преждевременно закрывает подключение

диагностика;

  1. Если вы используете общедоступное облако или частное облако:
    1. Воспользуйтесь инструментом трассировки (как описано в разделе Общие шаги диагностики) и убедитесь, что в панели Записанные данные Аналитики заданы оба следующих параметра:
      • X-Apigee.fault-code: messaging.adaptors.http.flow.ServiceUnavailable
      • X-Apigee.fault-source: target

      alt_text

    2. Воспользуйтесь инструментом трассировки (как описано в разделе Общие шаги диагностики) и убедитесь, что в разделе Error сразу после свойства state TARGET_REQ_FLOW заданы оба следующих значения:
      • error.class: com.apigee.errors.http.server.ServiceUnavailableException
      • error.cause: Broken pipe

      alt_text

    3. Подробнее об использовании tcpdump…
  2. Если вы используете частное облако:
    • Определите идентификатор сообщения для запроса, который не удалось выполнить.
    • Найдите идентификатор сообщения в журнале Message Processor (/opt/apigee/var/log/edge-message-processor/logs/system.log).
    • Вы увидите одно из следующих исключений:

      Исключение 1: java.io.IOException: Broken pipe occurred while writing to channel ClientOutputChannel

      2021-01-30 15:31:14,693 org:anotherorg env:prod api:myproxy
      rev:1 messageid:myorg-opdk-test-1-30312-13747-1  NIOThread@1
      INFO  HTTP.SERVICE - ExceptionHandler.handleException() :
      Exception java.io.IOException: Broken pipe occurred while writing to channel
      ClientOutputChannel(ClientChannel[Connected:
      Remote:IP:PORT Local:0.0.0.0:42828]@8380 useCount=1
      bytesRead=0 bytesWritten=76295 age=2012ms  lastIO=2ms  isOpen=false)

      или

      Исключение 2. onExceptionWrite exception: {}
      java.io.IOException: Broken pipe

      2021-01-31 15:29:37,438 org:anotherorg env:prod api:503-test
      rev:1 messageid:leonyoung-opdk-test-1-18604-13978-1
      NIOThread@0 ERROR HTTP.CLIENT - HTTPClient$Context$2.onException() :
      ClientChannel[Connected: Remote:IP:PORT
      Local:0.0.0.0:57880]@8569 useCount=1 bytesRead=0 bytesWritten=76295 age=3180ms  lastIO=2
      ms  isOpen=false.onExceptionWrite exception: {}
      java.io.IOException: Broken pipe
    • Оба этих исключения указывают на то, что, пока Message Processor записывал полезную нагрузку запроса на бэкенд-сервер, бэкенд-сервер преждевременно закрыл соединение. Поэтому Message Processor выдает исключение java.io.IOException: Broken pipe.
    • Remote:IP:PORT указывает на разрешенный IP-адрес и номер порта внутреннего сервера.
    • Атрибут bytesWritten=76295 в приведенном выше сообщении об ошибке указывает, что Message Processor отправил полезную нагрузку размером 76295 байт на бэкенд-сервер, когда соединение было преждевременно закрыто.
    • Атрибут bytesRead=0 указывает, что Message Processor не получил никаких данных (ответа) от бэкенд-сервера.
    • Чтобы изучить эту проблему, соберите tcpdump на бэкенд-сервере или Message Processor и проанализируйте его, как описано ниже.

Использование tcpdump

  1. Сделайте снимок tcpdump на внутреннем сервере или Message Processor с помощью следующих команд:

    Команда для сбора tcpdump на внутреннем сервере:

    tcpdump -i any -s 0 host MP_IP_ADDRESS -w FILE_NAME
    

    Команда для сбора tcpdump в обработчике сообщений:

    tcpdump -i any -s 0 host BACKEND_HOSTNAME -w FILE_NAME
    
  2. Проанализируйте данные в столбце tcpdump:

    Пример выходных данных tcpdump (собранных на процессоре сообщений):

    alt_text

    На изображении tcpdump выше показано следующее:

    1. В пакете 4 Message Processor отправил запрос POST на бэкенд-сервер.
    2. В пакетах 5, 8, 9, 10, 11 Message Processor продолжал отправлять полезную нагрузку запроса на бэкенд-сервер.
    3. В пакетах 6 и 7 бэкенд-сервер ответил кодом ACK на часть полезной нагрузки запроса,полученного от Message Processor.
    4. Однако в пакете 12 вместо того, чтобы ответить на полученные пакеты данных приложения с помощью ACK и затем ответить полезной нагрузкой, сервер отвечает с помощью FIN ACK, инициируя закрытие соединения.
    5. Это ясно показывает, что бэкенд-сервер преждевременно закрывает соединение, пока Message Processor ещё отправляет полезную нагрузку запроса.
    6. Из-за этого Message Processor регистрирует ошибку IOException: Broken Pipe и возвращает клиенту код 503.

Разрешение

  1. Обратитесь к специалистам по приложениям и/или сетям, чтобы проанализировать и устранить проблему с преждевременным отключением на стороне внутреннего сервера.
  2. Убедитесь, что приложение внутреннего сервера не отключается и не сбрасывает подключение до получения всей полезной нагрузки запроса.
  3. Если между Apigee и внутренним сервером есть промежуточное сетевое устройство или уровень, убедитесь, что время ожидания не истекает до того, как будет получен весь полезный объем запроса.

Если проблема не устранена, перейдите к разделу Обязательная диагностическая информация.

Необходимо собрать диагностическую информацию

Если проблема не исчезнет после выполнения приведенных выше инструкций, соберите указанную ниже диагностическую информацию и обратитесь в службу поддержки Apigee Edge.

Если вы пользователь общедоступного облака, предоставьте следующую информацию:

  • Название организации
  • Название среды
  • Название прокси API
  • Выполните команду curl, чтобы воспроизвести ошибку 503.
  • Файл трассировки, содержащий запрос с ошибкой 503 Service Unavailable.
  • Если ошибки 503 не возникают в настоящее время, укажите период времени и часовой пояс, когда 503 они происходили в прошлом.

Если вы используете частное облако, предоставьте следующую информацию:

  • Полное сообщение об ошибке, которое появляется при неудачных запросах.
  • Название организации, среды и прокси API, для которых вы наблюдаете ошибки 503.
  • Пакет прокси API
  • Файл трассировки, содержащий запросы с ошибкой 503 Service Unavailable
  • Журналы доступа NGINX
    /opt/apigee/var/log/edge-router/nginx/ORG~ENV.PORT#_access_log
  • Журналы обработчика сообщений
    /opt/apigee/var/log/edge-message-processor/logs/system.log
  • Период времени с информацией о часовом поясе, когда произошли ошибки 503.
  • Tcpdumps, собранные на процессорах сообщений и внутреннем сервере, когда произошла ошибка