Группы процессов и алерты
Версия
Группы процессов доступны начиная с версии 204 при модуле лицензии «Инфраструктура». Просмотр правил — с правомprocesses на просмотр, изменение — с правом на редактирование.На этой странице:
- Автоматические и объявленные группы
- Где настраиваются правила
- Поля правила
- Порядок проверки
- Захваты в имени группы
- Область правила
- Хосты без полного сбора
- Когда применяются изменения
- Алерт «Объявленная группа процессов не запущена»
- Алерт «Источник замолчал: процессы хоста»
- Свой порог через PromQL
Автоматические и объявленные группы
Каждый процесс ОС хоста попадает в одну группу процессов.
- Автоматическая группа — по имени исполняемого файла (на Windows имя приводится к нижнему регистру и теряет
.exe). Если путь к файлу недоступен, берётся имя процесса (comm). Командная строка в имя группы не входит. Процесс попадает в ряды автоматической группы, когда виден в двух полных списках подряд. Автоматическая группа существует, пока в ней есть процессы; алерта «не запущена» у неё нет. На хосте учитывается не больше 100 автоматических групп, процессы сверх этого числа собираются в группу_other(«прочие»). - Объявленная группа — по правилу пользователя. Правила проверяются по порядку, процесс попадает в группу первого подошедшего правила. Процесс, не подошедший ни к одному правилу, идёт в автоматическую группу. На хостах области правила объявленная группа существует и тогда, когда процессов в ней нет: число процессов в ней равно нулю, и по этому нулю срабатывает алерт «не запущена».
Потоки ядра (Linux) не входят ни в какие группы.
Где настраиваются правила
Инфраструктура > Настройки > вкладка Группы процессов. Таблица показывает правила в порядке проверки: группа процессов, условия, область, оповещение, охват полным сбором, время изменения. Кнопка Создать правило открывает форму. На установку можно создать не больше 100 правил.
Каждое создание, изменение и удаление правила записывается в журнал аудита.
Поля правила
| Поле | Обязательное | Значение |
|---|---|---|
| Имя группы | да | имя объявленной группы; оно же значение метки process_group в рядах. Может содержать захваты $1…$9 из регулярного выражения (см. ниже). Имя должно быть уникальным без учёта регистра |
| Исполняемый файл (exe) | одно из трёх условий | список имён исполняемых файлов |
| Имя процесса (comm) | одно из трёх условий | список имён процессов |
| Регулярное выражение командной строки | одно из трёх условий | выражение в синтаксисе RE2 по командной строке, уже замаскированной агентом; проверяется при сохранении, ошибка показывается с текстом |
| Пользователь ОС | нет | пользователь, под которым работает процесс |
| Область | да | Все хосты или одна или несколько групп хостов |
| Оповещать, если не запущена | — | по умолчанию включено; алерт, когда на хосте области нет ни одного процесса группы дольше 2 минут |
| Критичность алерта | — | Критическая (CRITICAL), Предупреждение (WARNING, по умолчанию), Информация (INFO) |
Как сочетаются условия:
- процесс подходит, если его исполняемый файл есть в списке exe или его имя есть в списке comm (на Windows — без учёта регистра);
- и командная строка совпала с регулярным выражением;
- и пользователь тот же.
Пустое условие не проверяется. Нужно задать хотя бы одно из трёх: exe, comm или регулярное выражение.
Пример: правило с именем backend, exe java, регулярным выражением -jar /opt/backend/ и областью «группа хостов app» собирает в группу backend процессы Java, запущенные с этим архивом, на хостах группы app и поднимает алерт, если таких процессов на хосте не осталось.
Порядок проверки
Процесс попадает в группу первого подошедшего правила, поэтому порядок важен: более узкие правила ставьте выше общих. Порядок меняется перетаскиванием строк таблицы или стрелками вверх и вниз на ручке строки (с клавиатуры). Перетаскивание работает только в полном списке без поиска. Новое правило добавляется в конец.
Если в списке есть правила вне доступа вашей роли, их взаимный порядок сохраняется: менять можно только положение своих правил.
Захваты в имени группы
Имя группы может собираться из групп захвата регулярного выражения. Например, имя java-$1 и выражение -jar (.+)[.]jar дают по группе на каждый архив: java-orders, java-billing и т. д.
Ограничения правила с захватами:
- регулярное выражение обязательно, а номер захвата в имени не может превышать число групп захвата в выражении;
- такое правило не даёт нулей: заранее неизвестно, какие имена групп должны быть на хосте;
- поэтому флажок Оповещать, если не запущена у него недоступен.
Нули и алерт «не запущена» есть только у правил с постоянным именем.
Область правила
Область задаёт, на каких хостах группа должна существовать: Все хосты или перечисленные группы хостов. Состав групп хостов платформа раскрывает сама; изменение состава доходит до правил не позже чем через минуту.
Изменить правило можно, только если его область до и после изменения входит в доступ вашей роли: каждая группа хостов области должна быть доступна роли через host_group. Область Все хосты может задать и править только роль без ограничений по хостам. Подробнее — Права доступа.
Хосты без полного сбора
Нули объявленной группы и алерт «не запущена» строятся только по полному списку процессов. Если часть хостов области присылает только обнаружение процессов (по умолчанию Windows и Kubernetes) или не присылает процессы вообще, в таблице и в форме правила показывается предупреждение «N хостов области из M без полного сбора» с разбивкой «только обнаружение» и «нет данных о процессах». Ссылка Как включить полный сбор ведёт на инструкцию.
Когда применяются изменения
Платформа перечитывает правила раз в минуту. Новое или изменённое правило начинает действовать со следующего перечитывания. Прошлое не пересчитывается: в инвентаре у процесса остаётся группа, в которую он попал при появлении. Ряды удалённого правила перестают поступать в течение минуты; уже записанные ряды хранятся до конца срока хранения метрик.
Алерт «Объявленная группа процессов не запущена»
Встроенное правило алертинга (группа правил OS_PROCESSES):
os_process_group_count{process_group_kind="declared", process_group_alert="true"} == 0
- Длительность (
for) — 2 минуты. - Алерт — на пару «хост, группа процессов»: «Группа процессов <группа> не запущена на хосте <хост>».
- Критичность берётся из поля Критичность алерта правила группы.
- Лейблы для маршрутизации:
type = infra,component_type = host, плюсhostиprocess_groupиз ряда. - В уведомлении есть ссылка на вкладку «Процессы» хоста.
«Не запущена» и «нет данных» различаются: ноль бывает только по полному списку процессов на хосте области. Если от хоста нет данных, ряда нет и это правило молчит — пропажу самих данных ловит следующее правило.
Окна обслуживания и группировка алертов в инциденты работают для этого алерта по метке host, как для прочих алертов хоста.
Алерт «Источник замолчал: процессы хоста»
Встроенное правило из группы правил отсутствия данных: хост за последние 24 часа присылал полные списки процессов, а за последние 10 минут — нет.
count by (host) (count_over_time(os_process_host_snapshots[24h]))
unless count by (host) (count_over_time(os_process_host_snapshots[10m]))
- Длительность — 10 минут, критичность
WARNING, лейблrule_type = no_data. Вместе с 10-минутным окном оповещение приходит примерно через 20 минут после последнего полного списка процессов. - Срабатывает, если хост продолжает слать метрики, но перестал присылать процессы: например, на агенте выключили полный сбор.
- Правило не меняет существующий алерт «хост перестал слать метрики».
- Как и все правила отсутствия данных, оно может сработать для всех хостов сразу, если перестанет работать приём данных на самой платформе.
Свой порог через PromQL
Встроенный алерт отвечает только на вопрос «ноль процессов». Другие условия — «меньше трёх рабочих процессов», «группа потребляет больше 4 ядер», «память группы растёт» — задаются обычным правилом алертинга с выражением PromQL по рядам групп процессов:
| Метрика | Значение |
|---|---|
os_process_group_count | число процессов ОС в группе (без потоков ядра) |
os_process_group_cpu_seconds_total | накопленное время CPU группы, с; после перезапуска приёма начинается с нуля |
os_process_group_rss_bytes | сумма RSS процессов группы, байт |
os_process_host_snapshots | 1 за каждый цикл с полным списком процессов хоста |
Метки: host, process_group (имя группы, имя исполняемого файла или _other), process_group_kind (auto или declared); у объявленных групп ещё process_group_alert и process_group_severity. PID, командная строка и пользователь в метки не попадают. Ряды пишутся раз в 30 секунд и только по полному списку процессов.
Примеры выражений:
# в группе backend меньше трёх процессов
os_process_group_count{process_group="backend"} < 3
# группа потребляет больше 4 ядер CPU
rate(os_process_group_cpu_seconds_total{process_group="backend"}[5m]) > 4
# память группы больше 8 ГиБ
os_process_group_rss_bytes{process_group="backend"} > 8 * 1024 * 1024 * 1024
Для порога по CPU используйте rate(): счётчик сбрасывается при перезапуске приёма, и rate() учитывает сброс. Полный список метрик — в справочнике Метрики, собираемые агентом.