Самовосстановление с помощью apigee-monit

В Apigee Edge for Private Cloud входит apigee-monit – инструмент на основе утилиты monit с открытым исходным кодом. apigee-monit периодически опрашивает сервисы Edge. Если сервис недоступен, apigee-monit пытается перезапустить его.

Чтобы использовать apigee-monit, установите его вручную. Она не входит в стандартный пакет установки.

По умолчанию apigee-monit проверяет статус сервисов Edge каждые 60 секунд.

Начало работы

В этом разделе рассказывается, как быстро начать работу с apigee-monit.

Если вы используете Amazon Linux, сначала установите Fedora. В противном случае пропустите этот шаг.

sudo yum install -y https://kojipkgs.fedoraproject.org/packages/monit/5.25.1/1.el6/x86_64/monit-5.25.1-1.el6.x86_64.rpm

Чтобы установить apigee-monit, выполните следующие действия:

/opt/apigee/apigee-service/bin/apigee-service apigee-monit install
/opt/apigee/apigee-service/bin/apigee-service apigee-monit configure
/opt/apigee/apigee-service/bin/apigee-service apigee-monit start

/opt/apigee/apigee-service/bin/apigee-service apigee-monit unmonitor -c component_name

/opt/apigee/apigee-service/bin/apigee-service apigee-monit unmonitor -c all

/opt/apigee/apigee-service/bin/apigee-service apigee-monit monitor -c component_name

/opt/apigee/apigee-service/bin/apigee-service apigee-monit monitor -c all

/opt/apigee/apigee-service/bin/apigee-service apigee-monit report

/opt/apigee/apigee-service/bin/apigee-service apigee-monit summary

cat /opt/apigee/var/log/apigee-monit/apigee-monit.log

Каждая из этих тем и другие подробно описаны в следующих разделах.

Об apigee-monit

apigee-monit обеспечивает бесперебойную работу всех компонентов узла. Для этого он предоставляет различные услуги, в том числе:

• Перезапуск служб, работающих со сбоями
• Отображение сводной информации
• Статус мониторинга ведения журналов
• Отправка уведомлений
• Мониторинг сервисов, не относящихся к Edge

Apigee рекомендует отслеживать работу apigee-monit. Дополнительную информацию вы найдете в статье Как отслеживать apigee-monit.

Архитектура apigee-monit

При установке и настройке Apigee Edge для частного облака вы можете установить отдельный экземпляр apigee-monit на каждом узле кластера. Эти отдельные экземпляры apigee-monit работают независимо друг от друга: они не передают статус своих компонентов другим узлам и не сообщают о сбоях самой утилиты мониторинга в центральный сервис.

На изображении ниже показана архитектура apigee-monit в кластере из пяти узлов.

Поддерживаемые платформы

apigee-monit поддерживает следующие платформы для кластера частного облака. (Поддерживаемая ОС для apigee-monit зависит от версии Private Cloud.)

Конфигурации компонентов

apigee-monit использует конфигурации компонентов, чтобы определить, какие компоненты отслеживать, какие аспекты компонента проверять и какие действия предпринимать в случае сбоя.

По умолчанию apigee-monit отслеживает все компоненты Edge на узле, используя их предопределенные конфигурации компонентов. Чтобы посмотреть настройки по умолчанию, откройте файлы конфигурации компонента apigee-monit. Конфигурации компонентов по умолчанию изменить нельзя.

apigee-monit проверяет разные аспекты компонента в зависимости от того, какой компонент проверяется. В таблице ниже указано, что apigee-monit проверяет для каждого компонента и где находятся настройки каждого компонента. Обратите внимание, что некоторые компоненты определяются в одном файле конфигурации, а другие имеют собственные конфигурации.

Ниже приведен пример конфигурации по умолчанию для компонента edge-router.

check host edge-router with address localhost
  restart program = "/opt/apigee/apigee-service/bin/apigee-service edge-router monitrestart"
  if failed host 10.1.1.0 port 8081 and protocol http
    and request "/v1/servers/self/uuid"
    with timeout 15 seconds
    for 2 times within 3 cycles
  then restart

  if failed port 15999 and protocol http
    and request "/v1/servers/self"
    and status < 600
    with timeout 15 seconds
    for 2 times within 3 cycles
  then restart

Ниже приведен пример конфигурации по умолчанию для компонента Classic UI (edge-ui).

check process edge-ui
 with pidfile /opt/apigee/var/run/edge-ui/edge-ui.pid
 start program = "/opt/apigee/apigee-service/bin/apigee-service edge-ui start" with timeout 55 seconds
 stop program = "/opt/apigee/apigee-service/bin/apigee-service edge-ui stop"

Это относится к классическому интерфейсу, а не к новому интерфейсу Edge, название компонента которого – edge-management-ui.

Вы не можете изменить конфигурации компонентов по умолчанию для любого компонента Apigee Edge для частного облака. Однако вы можете добавить собственные конфигурации компонентов для внешних сервисов, таких как целевая конечная точка или сервис httpd. Подробнее о конфигурациях компонентов, не связанных с Apigee…

По умолчанию apigee-monit отслеживает все компоненты на узле, на котором он запущен. Вы можете включить или отключить его для всех или отдельных компонентов. Статьи по теме

• Как остановить и запустить мониторинг компонента
• Как остановить, запустить и отключить apigee-monit

Установите apigee-monit

apigee-monit не устанавливается по умолчанию. Вы можете установить его вручную после обновления или установки Apigee Edge для частного облака версии 4.19.01 или более поздней.

В этом разделе описывается, как установить apigee-monit на поддерживаемых платформах.

Информацию об удалении apigee-monit можно найти в статье Как удалить apigee-monit.

Установите apigee-monit на поддерживаемой платформе

В этом разделе описывается, как установить apigee-monit на поддерживаемой платформе.

Чтобы установить apigee-monit на поддерживаемой платформе:

1. Установите apigee-monit с помощью следующей команды:

   /opt/apigee/apigee-service/bin/apigee-service apigee-monit install

2. Настройте apigee-monit с помощью следующей команды:

   /opt/apigee/apigee-service/bin/apigee-service apigee-monit configure

3. Запустите apigee-monit с помощью следующей команды:

   /opt/apigee/apigee-service/bin/apigee-service apigee-monit start

4. Повторите эту процедуру для каждого узла в кластере.

Как остановить и запустить компоненты мониторинга

Если служба по какой-либо причине останавливается, apigee-monit пытается перезапустить ее.

Это может вызвать проблемы, если вы хотите намеренно остановить компонент. Например, это может потребоваться, если вы хотите создать резервную копию компонента или обновить его. Если apigee-monit перезапустит сервис во время резервного копирования или обновления, процедура обслуживания может быть прервана, что может привести к сбою.

В следующих разделах показаны варианты остановки мониторинга компонентов.

Как остановить компонент и прекратить его мониторинг

Чтобы остановить компонент и прекратить его мониторинг, выполните следующую команду:

/opt/apigee/apigee-service/bin/apigee-service apigee-monit stop-component -c component_name

• apigee-cassandra (Cassandra)
• apigee-openldap (OpenLDAP)
• apigee-postgresql (база данных PostgreSQL)
• apigee-qpidd (Qpidd)
• apigee-sso (Edge SSO)
• apigee-zookeeper (ZooKeeper)
• edge-management-server (сервер управления)
• edge-management-ui (новый интерфейс Edge)
• edge-message-processor (процессор сообщений)
• edge-postgres-server (сервер Postgres)
• edge-qpid-server (сервер Qpid)
• edge-router (маршрутизатор Edge)
• edge-ui (классический интерфейс)

Обратите внимание, что значение "all" недопустимо для параметра stop-component. С помощью stop-component можно остановить и прекратить мониторинг только одного компонента за раз.

Чтобы перезапустить компонент и возобновить мониторинг, выполните следующую команду:

/opt/apigee/apigee-service/bin/apigee-service apigee-monit start-component -c component_name

Обратите внимание, что значение "all" недопустимо для параметра start-component.

Инструкции о том, как остановить все компоненты и прекратить их мониторинг, приведены в разделе Как остановить все компоненты и прекратить их мониторинг.

Как отключить мониторинг компонента (не останавливая его)

Чтобы прекратить отслеживание компонента (но не останавливать его), выполните следующую команду:

/opt/apigee/apigee-service/bin/apigee-service apigee-monit unmonitor -c component_name

• apigee-cassandra (Cassandra)
• apigee-openldap (OpenLDAP)
• apigee-postgresql (база данных PostgreSQL)
• apigee-qpidd (Qpidd)
• apigee-sso (Edge SSO)
• apigee-zookeeper (ZooKeeper)
• edge-management-server (сервер управления)
• edge-management-ui (новый интерфейс Edge)
• edge-message-processor (процессор сообщений)
• edge-postgres-server (сервер Postgres)
• edge-qpid-server (сервер Qpid)
• edge-router (маршрутизатор Edge)
• edge-ui (классический интерфейс)

Чтобы возобновить мониторинг компонента, выполните следующую команду:

/opt/apigee/apigee-service/bin/apigee-service apigee-monit monitor -c component_name

Отключить мониторинг всех компонентов (но не останавливать их)

Чтобы прекратить мониторинг всех компонентов (но не останавливать их), выполните следующую команду:

/opt/apigee/apigee-service/bin/apigee-service apigee-monit unmonitor -c all

Чтобы возобновить мониторинг всех компонентов, выполните следующую команду:

/opt/apigee/apigee-service/bin/apigee-service apigee-monit monitor -c all

Остановить все компоненты и прекратить их мониторинг

Чтобы остановить все компоненты и прекратить их мониторинг, выполните следующие команды:

/opt/apigee/apigee-service/bin/apigee-service apigee-monit unmonitor -c all
/opt/apigee/apigee-service/bin/apigee-all stop

Чтобы перезапустить все компоненты и возобновить мониторинг, выполните следующие команды:

/opt/apigee/apigee-service/bin/apigee-all start
/opt/apigee/apigee-service/bin/apigee-service apigee-monit monitor -c all

Чтобы прекратить мониторинг всех компонентов, вы также можете отключить apigee-monit, как описано в разделе Остановка, запуск и отключение apigee-monit.

Как остановить, запустить и отключить apigee-monit

Как и в случае с любой службой, вы можете остановить и запустить apigee-monit с помощью команды apigee-service. Кроме того, apigee-monit поддерживает команду unmonitor, которая позволяет временно приостановить мониторинг компонентов.

Остановить apigee-monit

Чтобы остановить apigee-monit, используйте следующую команду:

/opt/apigee/apigee-service/bin/apigee-service apigee-monit stop

Запустите apigee-monit

Чтобы запустить apigee-monit, используйте следующую команду:

/opt/apigee/apigee-service/bin/apigee-service apigee-monit start

Отключить apigee-monit

Вы можете приостановить мониторинг всех компонентов на узле с помощью следующей команды:

/opt/apigee/apigee-service/bin/apigee-service apigee-monit unmonitor -c all

Вы также можете навсегда отключить apigee-monit, удалив его из узла, как описано в разделе Удаление apigee-monit.

Удалите apigee-monit

Чтобы удалить apigee-monit:

1. Если вы настроили задание cron для отслеживания apigee-monit, удалите задание cron, прежде чем удалять apigee-monit:

   sudo rm /etc/cron.d/apigee-monit.cron

2. Остановите apigee-monit с помощью следующей команды:

   /opt/apigee/apigee-service/bin/apigee-service apigee-monit stop

3. Удалите apigee-monit с помощью следующей команды:

   /opt/apigee/apigee-service/bin/apigee-service apigee-monit uninstall

4. Повторите эту процедуру для каждого узла в кластере.

Как отслеживать недавно установленный компонент

Если вы установите новый компонент на узел, на котором запущен apigee-monit, вы можете начать его мониторинг, выполнив команду restart для apigee-monit. Будет создан новый файл monit.conf, в котором в конфигурации компонентов будет включен новый компонент.

В примере ниже перезапускается apigee-monit:

/opt/apigee/apigee-service/bin/apigee-service apigee-monit restart

Настройка apigee-monit

Вы можете настроить различные параметры apigee-monit, в том числе:

1. Настройки управления apigee-monit по умолчанию
2. Глобальные настройки конфигурации
3. Конфигурации компонентов, не относящихся к Apigee

Настройки управления apigee-monit по умолчанию

Вы можете изменить настройки apigee-monit по умолчанию, например частоту проверок статуса и расположение файлов apigee-monit. Для этого нужно изменить файл свойств, используя метод код с конфигурацией. Файлы свойств сохранятся даже после обновления Apigee Edge для Private Cloud.

В таблице ниже описаны настройки по умолчанию для элемента управления apigee-monit, которые можно изменить.

conf_monit_httpd_allow=allow username:"password"\nallow 127.0.0.1

Чтобы изменить настройки по умолчанию для apigee-monit:

1. Отредактируйте следующий файл:

   /opt/apigee/customer/application/monit.properties

   Если файла нет, создайте его и назначьте владельцем пользователя apigee:

   chown apigee:apigee /opt/apigee/customer/application/monit.properties

   Обратите внимание, что если файл уже существует, в нем могут быть определены дополнительные свойства конфигурации, помимо перечисленных в таблице выше. Не изменяйте другие свойства, кроме перечисленных выше.

2. Задайте или замените значения свойств новыми значениями.

   Например, чтобы изменить расположение файла журнала на /tmp, добавьте или измените следующее свойство:

   conf_monit_monit_logdir=/tmp/apigee-monit.log

3. Сохраните изменения в файле monit.properties.
4. Повторно настройте apigee-monit с помощью следующей команды:

   /opt/apigee/apigee-service/bin/apigee-service apigee-monit configure

5. Перезагрузите apigee-monit с помощью следующей команды:

   /opt/apigee/apigee-service/bin/apigee-service apigee-monit reload

   Если перезапустить apigee-monit не удается, проверьте файл журнала на наличие ошибок, как описано в разделе Как получить доступ к файлам журнала apigee-monit.

6. Повторите эту процедуру для каждого узла в кластере.

Глобальные настройки конфигурации

Вы можете задать глобальные настройки конфигурации для apigee-monit, например добавить уведомления по электронной почте для оповещений. Для этого создайте файл конфигурации в каталоге /opt/apigee/data/apigee-monit и перезапустите apigee-monit.

Чтобы задать глобальные настройки конфигурации для apigee-monit:

1. Создайте файл конфигурации компонента в следующем каталоге:

   /opt/apigee/data/apigee-monit/filename.conf

   где filename – любое допустимое название файла, кроме monit.

2. Смените владельца нового файла конфигурации на пользователя apigee, как показано в примере ниже.

   chown apigee:apigee /opt/apigee/data/apigee-monit/my-mail-config.conf

3. Добавьте в новый файл глобальные настройки конфигурации. В примере ниже настраивается почтовый сервер и задаются получатели оповещений.

   SET MAILSERVER smtp.gmail.com PORT 465
     USERNAME "example-admin@gmail.com" PASSWORD "PASSWORD"
     USING SSL, WITH TIMEOUT 15 SECONDS
   
   SET MAIL-FORMAT {
     from: edge-alerts@example.com
     subject: Monit Alert -- Service: $SERVICE $EVENT on $HOST
   }
   SET ALERT fred@example.com
   SET ALERT nancy@example.com

   Полный список глобальных параметров конфигурации приведен в документации по monit.

4. Сохраните изменения в файле конфигурации компонента.
5. Перезагрузите apigee-monit с помощью следующей команды:

   /opt/apigee/apigee-service/bin/apigee-service apigee-monit reload

   Если apigee-monit не перезапускается, проверьте файл журнала на наличие ошибок, как описано в разделе Доступ к файлам журнала apigee-monit.

6. Повторите эту процедуру для каждого узла в кластере.

Конфигурации компонентов, не относящихся к Apigee

Вы можете добавить собственные конфигурации в apigee-monit, чтобы проверять сервисы, которые не входят в Apigee Edge для частного облака. Например, вы можете использовать apigee-monit, чтобы проверить, работают ли ваши API, отправив запросы к целевой конечной точке.

Чтобы добавить конфигурацию компонента, не связанного с Apigee, выполните следующие действия:

1. Создайте файл конфигурации компонента в следующем каталоге:

   /opt/apigee/data/apigee-monit/filename.conf

   где filename – любое допустимое название файла, кроме monit.

   Вы можете создать столько файлов конфигурации компонентов, сколько необходимо. Например, вы можете создать отдельный файл конфигурации для каждого компонента, не относящегося к Apigee, который вы хотите отслеживать на узле.

2. Смените владельца нового файла конфигурации на пользователя apigee, как показано в примере ниже.

   chown apigee:apigee /opt/apigee/data/apigee-monit/my-config.conf

3. Добавьте в новый файл свои конфигурации. В следующем примере проверяется целевая конечная точка на локальном сервере:

   CHECK HOST localhost_validate_test WITH ADDRESS localhost
     IF FAILED
       PORT 15999
       PROTOCOL http
       REQUEST "/validate__test"
       CONTENT = "Server Ready"
       FOR 2 times WITHIN 3 cycles
     THEN alert

   Полный список возможных настроек конфигурации можно найти в документации по Monit.

4. Сохраните изменения в файле конфигурации.
5. Перезагрузите apigee-monit с помощью следующей команды:

   /opt/apigee/apigee-service/bin/apigee-service apigee-monit reload

   Если apigee-monit не перезапускается, проверьте файл журнала на наличие ошибок, как описано в разделе Доступ к файлам журнала apigee-monit.

6. Повторите эту процедуру для каждого узла в кластере.

Обратите внимание, что это относится только к компонентам, не связанным с Edge. Вы не можете настраивать конфигурации компонентов Edge.

Как получить доступ к файлам журнала apigee-monit

apigee-monit регистрирует все действия, включая события, перезапуски, изменения конфигурации и оповещения, в файле журнала.

По умолчанию файл журнала находится в следующей папке:

/opt/apigee/var/log/apigee-monit/apigee-monit.log

Вы можете изменить местоположение по умолчанию, настроив элемент управления apigee-monit.

Записи в файле журнала имеют следующий формат:

'edge-message-processor' trying to restart
[UTC Dec 14 16:20:42] info     : 'edge-message-processor' trying to restart
'edge-message-processor' restart: '/opt/apigee/apigee-service/bin/apigee-service edge-message-processor monitrestart'

Формат записей в файле журнала apigee-monit изменить нельзя.

Просмотр агрегированного статуса с помощью apigee-monit

apigee-monit включает следующие команды, которые предоставляют агрегированную информацию о состоянии компонентов узла:

/opt/apigee/apigee-service/bin/apigee-service apigee-monit report

/opt/apigee/apigee-service/bin/apigee-service apigee-monit summary

Каждая из этих команд подробно описана в следующих разделах.

отчёт

Команда report позволяет получить сводную информацию о том, сколько компонентов узла работает, не работает, инициализируется или не отслеживается. В примере ниже вызывается команда report:

/opt/apigee/apigee-service/bin/apigee-service apigee-monit report

Ниже приведен пример выходных данных report в конфигурации AIO (все в одном):

/opt/apigee/apigee-service/bin/apigee-service apigee-monit report
up:            11 (100.0%)
down:           0 (0.0%)
initialising:   0 (0.0%)
unmonitored:    1 (8.3%)
total:         12 services

В этом примере 11 из 12 сервисов, по данным apigee-monit, работают. Один сервис в настоящее время не отслеживается.

При первом выполнении команды report может возникнуть ошибка Connection refused. В этом случае подождите, пока не истечет время, указанное в свойстве conf_monit_monit_delay_time, и повторите попытку.

краткое содержание

Команда summary выводит список всех компонентов и их статусы. В примере ниже вызывается команда summary:

/opt/apigee/apigee-service/bin/apigee-service apigee-monit summary

Ниже приведен пример выходных данных summary в конфигурации AIO (все в одном):

/opt/apigee/apigee-service/bin/apigee-service apigee-monit summary
Monit 5.25.1 uptime: 4h 20m
 Service Name                     Status                      Type
 host_name                        OK                          System
 apigee-zookeeper                 OK                          Process
 apigee-cassandra                 OK                          Process
 apigee-openldap                  OK                          Process
 apigee-qpidd                     OK                          Process
 apigee-postgresql                OK                          Process
 edge-ui                          OK                          Process
 edge-qpid-server                 OK                          Remote Host
 edge-postgres-server             OK                          Remote Host
 edge-management-server           OK                          Remote Host
 edge-router                      OK                          Remote Host
 edge-message-processor           OK                          Remote Host

Если при первом выполнении команды summary вы получите ошибку Connection refused, подождите, пока не истечет время, указанное в свойстве conf_monit_monit_delay_time, и повторите попытку.

Мониторинг apigee-monit

Рекомендуется регулярно проверять, работает ли apigee-monit на каждом узле.

Чтобы проверить, запущен ли apigee-monit, используйте следующую команду:

/opt/apigee/apigee-service/bin/apigee-service apigee-monit monitor_monit

Рекомендуется периодически выполнять эту команду на каждом узле, на котором запущен apigee-monit. Один из способов сделать это – использовать утилиту, например cron, которая выполняет запланированные задачи через заданные интервалы времени.

Чтобы использовать cron для отслеживания apigee-monit:

1. Добавьте поддержку cron, скопировав каталог apigee-monit.cron в каталог /etc/cron.d, как показано в следующем примере:

   cp /opt/apigee/apigee-monit/cron/apigee-monit.cron /etc/cron.d/

2. Откройте файл apigee-monit.cron для редактирования.

   Файл apigee-monit.cron определяет задание cron, которое нужно выполнить, и частоту его выполнения. Ниже приведен пример значений по умолчанию.

   # Cron entry to check if monit process is running. If not start it
   */2 * * * * root /opt/apigee/apigee-service/bin/apigee-service apigee-monit monitor_monit

   В этом файле используется следующий синтаксис, в котором первые пять полей определяют время, когда apigee-monit выполняет свое действие:

   min hour day_of_month month day_of_week task_to_execute

   Например, время выполнения по умолчанию – */2 * * * *. Это значит, что cron проверяет процесс apigee-monit каждые две минуты.

   Задание cron можно выполнять не чаще одного раза в минуту.

   Дополнительную информацию об использовании cron можно найти в документации к операционной системе сервера или на страницах руководства.

3. Измените настройки cron в соответствии с правилами вашей организации. Например, чтобы изменить частоту выполнения на каждые 5 минут, задайте следующее определение задания:

   */5 * * * * root /opt/apigee/apigee-service/bin/apigee-service apigee-monit monitor_monit

4. Сохраните файл apigee-monit.cron.
5. Повторите эту процедуру для каждого узла в кластере.

Если cron не начинает отслеживать apigee-monit, проверьте следующее:

• После определения задания cron есть пустая строка.
• В файле определено только одно задание cron. (строки с комментариями не учитываются).

Если вы хотите остановить или временно отключить apigee-monit, вам также необходимо отключить задание cron, иначе cron перезапустит apigee-monit.

Чтобы отключить cron, выполните одно из следующих действий:

• Удалите файл /etc/cron.d/apigee-monit.cron:

  sudo rm /etc/cron.d/apigee-monit.cron

  Если вы захотите снова включить cron, чтобы смотреть apigee-monit, вам придется скопировать его заново.

  ИЛИ

• Отредактируйте файл /etc/cron.d/apigee-monit.cron и закомментируйте определение задания, добавив символ # в начале строки. Пример:

  # 10 * * * * root /opt/apigee/apigee-service/bin/apigee-service apigee-monit monitor_monit