<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom"><channel><title>Документация Proto Observability Platform – алерты</title><link>/docs/tags/%D0%B0%D0%BB%D0%B5%D1%80%D1%82%D1%8B/</link><description>Recent content in алерты on Документация Proto Observability Platform</description><generator>Hugo -- gohugo.io</generator><language>ru</language><atom:link href="/docs/tags/%D0%B0%D0%BB%D0%B5%D1%80%D1%82%D1%8B/index.xml" rel="self" type="application/rss+xml"/><item><title>Infrastructure: Группы процессов и алерты</title><link>/docs/infrastructure/os_processes/process_groups/</link><pubDate>Mon, 01 Jan 0001 00:00:00 +0000</pubDate><guid>/docs/infrastructure/os_processes/process_groups/</guid><description>
&lt;div class="alert alert-info" role="alert">
&lt;h4 class="alert-heading">Версия&lt;/h4>
Группы процессов доступны начиная с версии 204 при модуле лицензии «Инфраструктура». Просмотр правил — с правом &lt;code>processes&lt;/code> на просмотр, изменение — с правом на редактирование.
&lt;/div>
&lt;p>На этой странице:&lt;/p>
&lt;ul>
&lt;li>&lt;a href="#%d0%b0%d0%b2%d1%82%d0%be%d0%bc%d0%b0%d1%82%d0%b8%d1%87%d0%b5%d1%81%d0%ba%d0%b8%d0%b5-%d0%b8-%d0%be%d0%b1%d1%8a%d1%8f%d0%b2%d0%bb%d0%b5%d0%bd%d0%bd%d1%8b%d0%b5-%d0%b3%d1%80%d1%83%d0%bf%d0%bf%d1%8b">Автоматические и объявленные группы&lt;/a>&lt;/li>
&lt;li>&lt;a href="#%d0%b3%d0%b4%d0%b5-%d0%bd%d0%b0%d1%81%d1%82%d1%80%d0%b0%d0%b8%d0%b2%d0%b0%d1%8e%d1%82%d1%81%d1%8f-%d0%bf%d1%80%d0%b0%d0%b2%d0%b8%d0%bb%d0%b0">Где настраиваются правила&lt;/a>&lt;/li>
&lt;li>&lt;a href="#%d0%bf%d0%be%d0%bb%d1%8f-%d0%bf%d1%80%d0%b0%d0%b2%d0%b8%d0%bb%d0%b0">Поля правила&lt;/a>&lt;/li>
&lt;li>&lt;a href="#%d0%bf%d0%be%d1%80%d1%8f%d0%b4%d0%be%d0%ba-%d0%bf%d1%80%d0%be%d0%b2%d0%b5%d1%80%d0%ba%d0%b8">Порядок проверки&lt;/a>&lt;/li>
&lt;li>&lt;a href="#%d0%b7%d0%b0%d1%85%d0%b2%d0%b0%d1%82%d1%8b-%d0%b2-%d0%b8%d0%bc%d0%b5%d0%bd%d0%b8-%d0%b3%d1%80%d1%83%d0%bf%d0%bf%d1%8b">Захваты в имени группы&lt;/a>&lt;/li>
&lt;li>&lt;a href="#%d0%be%d0%b1%d0%bb%d0%b0%d1%81%d1%82%d1%8c-%d0%bf%d1%80%d0%b0%d0%b2%d0%b8%d0%bb%d0%b0">Область правила&lt;/a>&lt;/li>
&lt;li>&lt;a href="#%d1%85%d0%be%d1%81%d1%82%d1%8b-%d0%b1%d0%b5%d0%b7-%d0%bf%d0%be%d0%bb%d0%bd%d0%be%d0%b3%d0%be-%d1%81%d0%b1%d0%be%d1%80%d0%b0">Хосты без полного сбора&lt;/a>&lt;/li>
&lt;li>&lt;a href="#%d0%ba%d0%be%d0%b3%d0%b4%d0%b0-%d0%bf%d1%80%d0%b8%d0%bc%d0%b5%d0%bd%d1%8f%d1%8e%d1%82%d1%81%d1%8f-%d0%b8%d0%b7%d0%bc%d0%b5%d0%bd%d0%b5%d0%bd%d0%b8%d1%8f">Когда применяются изменения&lt;/a>&lt;/li>
&lt;li>&lt;a href="#%d0%b0%d0%bb%d0%b5%d1%80%d1%82-%d0%be%d0%b1%d1%8a%d1%8f%d0%b2%d0%bb%d0%b5%d0%bd%d0%bd%d0%b0%d1%8f-%d0%b3%d1%80%d1%83%d0%bf%d0%bf%d0%b0-%d0%bf%d1%80%d0%be%d1%86%d0%b5%d1%81%d1%81%d0%be%d0%b2-%d0%bd%d0%b5-%d0%b7%d0%b0%d0%bf%d1%83%d1%89%d0%b5%d0%bd%d0%b0">Алерт «Объявленная группа процессов не запущена»&lt;/a>&lt;/li>
&lt;li>&lt;a href="#%d0%b0%d0%bb%d0%b5%d1%80%d1%82-%d0%b8%d1%81%d1%82%d0%be%d1%87%d0%bd%d0%b8%d0%ba-%d0%b7%d0%b0%d0%bc%d0%be%d0%bb%d1%87%d0%b0%d0%bb-%d0%bf%d1%80%d0%be%d1%86%d0%b5%d1%81%d1%81%d1%8b-%d1%85%d0%be%d1%81%d1%82%d0%b0">Алерт «Источник замолчал: процессы хоста»&lt;/a>&lt;/li>
&lt;li>&lt;a href="#%d1%81%d0%b2%d0%be%d0%b9-%d0%bf%d0%be%d1%80%d0%be%d0%b3-%d1%87%d0%b5%d1%80%d0%b5%d0%b7-promql">Свой порог через PromQL&lt;/a>&lt;/li>
&lt;/ul>
&lt;h2 id="автоматические-и-объявленные-группы">Автоматические и объявленные группы&lt;/h2>
&lt;p>Каждый процесс ОС хоста попадает в одну группу процессов.&lt;/p>
&lt;ul>
&lt;li>&lt;strong>Автоматическая группа&lt;/strong> — по имени исполняемого файла (на Windows имя приводится к нижнему регистру и теряет &lt;code>.exe&lt;/code>). Если путь к файлу недоступен, берётся имя процесса (comm). Командная строка в имя группы не входит. Процесс попадает в ряды автоматической группы, когда виден в двух полных списках подряд. Автоматическая группа существует, пока в ней есть процессы; алерта «не запущена» у неё нет. На хосте учитывается не больше 100 автоматических групп, процессы сверх этого числа собираются в группу &lt;code>_other&lt;/code> («прочие»).&lt;/li>
&lt;li>&lt;strong>Объявленная группа&lt;/strong> — по правилу пользователя. Правила проверяются по порядку, процесс попадает в группу первого подошедшего правила. Процесс, не подошедший ни к одному правилу, идёт в автоматическую группу. На хостах области правила объявленная группа существует и тогда, когда процессов в ней нет: число процессов в ней равно нулю, и по этому нулю срабатывает алерт «не запущена».&lt;/li>
&lt;/ul>
&lt;p>Потоки ядра (Linux) не входят ни в какие группы.&lt;/p>
&lt;h2 id="где-настраиваются-правила">Где настраиваются правила&lt;/h2>
&lt;p>&lt;code>Инфраструктура&lt;/code> &amp;gt; &lt;code>Настройки&lt;/code> &amp;gt; вкладка &lt;strong>Группы процессов&lt;/strong>. Таблица показывает правила в порядке проверки: группа процессов, условия, область, оповещение, охват полным сбором, время изменения. Кнопка &lt;strong>Создать правило&lt;/strong> открывает форму. На установку можно создать не больше 100 правил.&lt;/p>
&lt;p>Каждое создание, изменение и удаление правила записывается в &lt;a href="../../../guides/rbac_admin/#%d0%b6%d1%83%d1%80%d0%bd%d0%b0%d0%bb-%d0%b0%d1%83%d0%b4%d0%b8%d1%82%d0%b0">журнал аудита&lt;/a>.&lt;/p>
&lt;h2 id="поля-правила">Поля правила&lt;/h2>
&lt;table>
&lt;thead>
&lt;tr>
&lt;th>Поле&lt;/th>
&lt;th>Обязательное&lt;/th>
&lt;th>Значение&lt;/th>
&lt;/tr>
&lt;/thead>
&lt;tbody>
&lt;tr>
&lt;td>&lt;strong>Имя группы&lt;/strong>&lt;/td>
&lt;td>да&lt;/td>
&lt;td>имя объявленной группы; оно же значение метки &lt;code>process_group&lt;/code> в рядах. Может содержать захваты &lt;code>$1&lt;/code>…&lt;code>$9&lt;/code> из регулярного выражения (см. &lt;a href="#%d0%b7%d0%b0%d1%85%d0%b2%d0%b0%d1%82%d1%8b-%d0%b2-%d0%b8%d0%bc%d0%b5%d0%bd%d0%b8-%d0%b3%d1%80%d1%83%d0%bf%d0%bf%d1%8b">ниже&lt;/a>). Имя должно быть уникальным без учёта регистра&lt;/td>
&lt;/tr>
&lt;tr>
&lt;td>&lt;strong>Исполняемый файл (exe)&lt;/strong>&lt;/td>
&lt;td>одно из трёх условий&lt;/td>
&lt;td>список имён исполняемых файлов&lt;/td>
&lt;/tr>
&lt;tr>
&lt;td>&lt;strong>Имя процесса (comm)&lt;/strong>&lt;/td>
&lt;td>одно из трёх условий&lt;/td>
&lt;td>список имён процессов&lt;/td>
&lt;/tr>
&lt;tr>
&lt;td>&lt;strong>Регулярное выражение командной строки&lt;/strong>&lt;/td>
&lt;td>одно из трёх условий&lt;/td>
&lt;td>выражение в синтаксисе RE2 по командной строке, уже замаскированной агентом; проверяется при сохранении, ошибка показывается с текстом&lt;/td>
&lt;/tr>
&lt;tr>
&lt;td>&lt;strong>Пользователь ОС&lt;/strong>&lt;/td>
&lt;td>нет&lt;/td>
&lt;td>пользователь, под которым работает процесс&lt;/td>
&lt;/tr>
&lt;tr>
&lt;td>&lt;strong>Область&lt;/strong>&lt;/td>
&lt;td>да&lt;/td>
&lt;td>&lt;strong>Все хосты&lt;/strong> или одна или несколько групп хостов&lt;/td>
&lt;/tr>
&lt;tr>
&lt;td>&lt;strong>Оповещать, если не запущена&lt;/strong>&lt;/td>
&lt;td>—&lt;/td>
&lt;td>по умолчанию включено; алерт, когда на хосте области нет ни одного процесса группы дольше 2 минут&lt;/td>
&lt;/tr>
&lt;tr>
&lt;td>&lt;strong>Критичность алерта&lt;/strong>&lt;/td>
&lt;td>—&lt;/td>
&lt;td>&lt;code>Критическая&lt;/code> (CRITICAL), &lt;code>Предупреждение&lt;/code> (WARNING, по умолчанию), &lt;code>Информация&lt;/code> (INFO)&lt;/td>
&lt;/tr>
&lt;/tbody>
&lt;/table>
&lt;p>Как сочетаются условия:&lt;/p>
&lt;ul>
&lt;li>процесс подходит, если его исполняемый файл есть в списке &lt;strong>exe&lt;/strong> &lt;strong>или&lt;/strong> его имя есть в списке &lt;strong>comm&lt;/strong> (на Windows — без учёта регистра);&lt;/li>
&lt;li>&lt;strong>и&lt;/strong> командная строка совпала с регулярным выражением;&lt;/li>
&lt;li>&lt;strong>и&lt;/strong> пользователь тот же.&lt;/li>
&lt;/ul>
&lt;p>Пустое условие не проверяется. Нужно задать хотя бы одно из трёх: exe, comm или регулярное выражение.&lt;/p>
&lt;p>Пример: правило с именем &lt;code>backend&lt;/code>, exe &lt;code>java&lt;/code>, регулярным выражением &lt;code>-jar /opt/backend/&lt;/code> и областью «группа хостов app» собирает в группу &lt;code>backend&lt;/code> процессы Java, запущенные с этим архивом, на хостах группы app и поднимает алерт, если таких процессов на хосте не осталось.&lt;/p>
&lt;h2 id="порядок-проверки">Порядок проверки&lt;/h2>
&lt;p>Процесс попадает в группу первого подошедшего правила, поэтому порядок важен: более узкие правила ставьте выше общих. Порядок меняется перетаскиванием строк таблицы или стрелками вверх и вниз на ручке строки (с клавиатуры). Перетаскивание работает только в полном списке без поиска. Новое правило добавляется в конец.&lt;/p>
&lt;p>Если в списке есть правила вне доступа вашей роли, их взаимный порядок сохраняется: менять можно только положение своих правил.&lt;/p>
&lt;h2 id="захваты-в-имени-группы">Захваты в имени группы&lt;/h2>
&lt;p>Имя группы может собираться из групп захвата регулярного выражения. Например, имя &lt;code>java-$1&lt;/code> и выражение &lt;code>-jar (.+)[.]jar&lt;/code> дают по группе на каждый архив: &lt;code>java-orders&lt;/code>, &lt;code>java-billing&lt;/code> и т. д.&lt;/p>
&lt;p>Ограничения правила с захватами:&lt;/p>
&lt;ul>
&lt;li>регулярное выражение обязательно, а номер захвата в имени не может превышать число групп захвата в выражении;&lt;/li>
&lt;li>такое правило не даёт нулей: заранее неизвестно, какие имена групп должны быть на хосте;&lt;/li>
&lt;li>поэтому флажок &lt;strong>Оповещать, если не запущена&lt;/strong> у него недоступен.&lt;/li>
&lt;/ul>
&lt;p>Нули и алерт «не запущена» есть только у правил с постоянным именем.&lt;/p>
&lt;h2 id="область-правила">Область правила&lt;/h2>
&lt;p>Область задаёт, на каких хостах группа должна существовать: &lt;strong>Все хосты&lt;/strong> или перечисленные &lt;a href="../../../resource_service_model/host_groups/">группы хостов&lt;/a>. Состав групп хостов платформа раскрывает сама; изменение состава доходит до правил не позже чем через минуту.&lt;/p>
&lt;p>Изменить правило можно, только если его область до и после изменения входит в доступ вашей роли: каждая группа хостов области должна быть доступна роли через &lt;code>host_group&lt;/code>. Область &lt;strong>Все хосты&lt;/strong> может задать и править только роль без ограничений по хостам. Подробнее — &lt;a href="../administration/#%d0%bf%d1%80%d0%b0%d0%b2%d0%b0-%d0%b4%d0%be%d1%81%d1%82%d1%83%d0%bf%d0%b0">Права доступа&lt;/a>.&lt;/p>
&lt;h2 id="хосты-без-полного-сбора">Хосты без полного сбора&lt;/h2>
&lt;p>Нули объявленной группы и алерт «не запущена» строятся только по полному списку процессов. Если часть хостов области присылает только обнаружение процессов (по умолчанию Windows и Kubernetes) или не присылает процессы вообще, в таблице и в форме правила показывается предупреждение «N хостов области из M без полного сбора» с разбивкой «только обнаружение» и «нет данных о процессах». Ссылка &lt;strong>Как включить полный сбор&lt;/strong> ведёт на &lt;a href="../#%d0%ba%d0%b0%d0%ba-%d0%b2%d0%ba%d0%bb%d1%8e%d1%87%d0%b8%d1%82%d1%8c-%d0%bf%d0%be%d0%bb%d0%bd%d1%8b%d0%b9-%d1%81%d0%b1%d0%be%d1%80">инструкцию&lt;/a>.&lt;/p>
&lt;h2 id="когда-применяются-изменения">Когда применяются изменения&lt;/h2>
&lt;p>Платформа перечитывает правила раз в минуту. Новое или изменённое правило начинает действовать со следующего перечитывания. Прошлое не пересчитывается: в инвентаре у процесса остаётся группа, в которую он попал при появлении. Ряды удалённого правила перестают поступать в течение минуты; уже записанные ряды хранятся до конца срока хранения метрик.&lt;/p>
&lt;h2 id="алерт-объявленная-группа-процессов-не-запущена">Алерт «Объявленная группа процессов не запущена»&lt;/h2>
&lt;p>Встроенное правило алертинга (группа правил &lt;code>OS_PROCESSES&lt;/code>):&lt;/p>
&lt;div class="highlight">&lt;pre tabindex="0" class="chroma">&lt;code class="language-text" data-lang="text">&lt;span class="line">&lt;span class="cl">os_process_group_count{process_group_kind=&amp;#34;declared&amp;#34;, process_group_alert=&amp;#34;true&amp;#34;} == 0
&lt;/span>&lt;/span>&lt;/code>&lt;/pre>&lt;/div>&lt;ul>
&lt;li>Длительность (&lt;code>for&lt;/code>) — 2 минуты.&lt;/li>
&lt;li>Алерт — на пару «хост, группа процессов»: «Группа процессов &amp;lt;группа&amp;gt; не запущена на хосте &amp;lt;хост&amp;gt;».&lt;/li>
&lt;li>Критичность берётся из поля &lt;strong>Критичность алерта&lt;/strong> правила группы.&lt;/li>
&lt;li>Лейблы для маршрутизации: &lt;code>type = infra&lt;/code>, &lt;code>component_type = host&lt;/code>, плюс &lt;code>host&lt;/code> и &lt;code>process_group&lt;/code> из ряда.&lt;/li>
&lt;li>В уведомлении есть ссылка на вкладку «Процессы» хоста.&lt;/li>
&lt;/ul>
&lt;p>«Не запущена» и «нет данных» различаются: ноль бывает только по полному списку процессов на хосте области. Если от хоста нет данных, ряда нет и это правило молчит — пропажу самих данных ловит следующее правило.&lt;/p>
&lt;p>Окна обслуживания и группировка алертов в инциденты работают для этого алерта по метке &lt;code>host&lt;/code>, как для прочих алертов хоста.&lt;/p>
&lt;h2 id="алерт-источник-замолчал-процессы-хоста">Алерт «Источник замолчал: процессы хоста»&lt;/h2>
&lt;p>Встроенное правило из группы правил отсутствия данных: хост за последние 24 часа присылал полные списки процессов, а за последние 10 минут — нет.&lt;/p>
&lt;div class="highlight">&lt;pre tabindex="0" class="chroma">&lt;code class="language-text" data-lang="text">&lt;span class="line">&lt;span class="cl">count by (host) (count_over_time(os_process_host_snapshots[24h]))
&lt;/span>&lt;/span>&lt;span class="line">&lt;span class="cl"> unless count by (host) (count_over_time(os_process_host_snapshots[10m]))
&lt;/span>&lt;/span>&lt;/code>&lt;/pre>&lt;/div>&lt;ul>
&lt;li>Длительность — 10 минут, критичность &lt;code>WARNING&lt;/code>, лейбл &lt;code>rule_type = no_data&lt;/code>. Вместе с 10-минутным окном оповещение приходит примерно через 20 минут после последнего полного списка процессов.&lt;/li>
&lt;li>Срабатывает, если хост продолжает слать метрики, но перестал присылать процессы: например, на агенте выключили полный сбор.&lt;/li>
&lt;li>Правило не меняет существующий алерт «хост перестал слать метрики».&lt;/li>
&lt;li>Как и все правила отсутствия данных, оно может сработать для всех хостов сразу, если перестанет работать приём данных на самой платформе.&lt;/li>
&lt;/ul>
&lt;h2 id="свой-порог-через-promql">Свой порог через PromQL&lt;/h2>
&lt;p>Встроенный алерт отвечает только на вопрос «ноль процессов». Другие условия — «меньше трёх рабочих процессов», «группа потребляет больше 4 ядер», «память группы растёт» — задаются обычным &lt;a href="../../../alerting/configuration/#%d1%81%d0%be%d0%b7%d0%b4%d0%b0%d0%bd%d0%b8%d0%b5-%d0%bf%d1%80%d0%b0%d0%b2%d0%b8%d0%bb%d0%b0">правилом алертинга&lt;/a> с выражением PromQL по рядам групп процессов:&lt;/p>
&lt;table>
&lt;thead>
&lt;tr>
&lt;th>Метрика&lt;/th>
&lt;th>Значение&lt;/th>
&lt;/tr>
&lt;/thead>
&lt;tbody>
&lt;tr>
&lt;td>&lt;code>os_process_group_count&lt;/code>&lt;/td>
&lt;td>число процессов ОС в группе (без потоков ядра)&lt;/td>
&lt;/tr>
&lt;tr>
&lt;td>&lt;code>os_process_group_cpu_seconds_total&lt;/code>&lt;/td>
&lt;td>накопленное время CPU группы, с; после перезапуска приёма начинается с нуля&lt;/td>
&lt;/tr>
&lt;tr>
&lt;td>&lt;code>os_process_group_rss_bytes&lt;/code>&lt;/td>
&lt;td>сумма RSS процессов группы, байт&lt;/td>
&lt;/tr>
&lt;tr>
&lt;td>&lt;code>os_process_host_snapshots&lt;/code>&lt;/td>
&lt;td>1 за каждый цикл с полным списком процессов хоста&lt;/td>
&lt;/tr>
&lt;/tbody>
&lt;/table>
&lt;p>Метки: &lt;code>host&lt;/code>, &lt;code>process_group&lt;/code> (имя группы, имя исполняемого файла или &lt;code>_other&lt;/code>), &lt;code>process_group_kind&lt;/code> (&lt;code>auto&lt;/code> или &lt;code>declared&lt;/code>); у объявленных групп ещё &lt;code>process_group_alert&lt;/code> и &lt;code>process_group_severity&lt;/code>. PID, командная строка и пользователь в метки не попадают. Ряды пишутся раз в 30 секунд и только по полному списку процессов.&lt;/p>
&lt;p>Примеры выражений:&lt;/p>
&lt;div class="highlight">&lt;pre tabindex="0" class="chroma">&lt;code class="language-text" data-lang="text">&lt;span class="line">&lt;span class="cl"># в группе backend меньше трёх процессов
&lt;/span>&lt;/span>&lt;span class="line">&lt;span class="cl">os_process_group_count{process_group=&amp;#34;backend&amp;#34;} &amp;lt; 3
&lt;/span>&lt;/span>&lt;span class="line">&lt;span class="cl">
&lt;/span>&lt;/span>&lt;span class="line">&lt;span class="cl"># группа потребляет больше 4 ядер CPU
&lt;/span>&lt;/span>&lt;span class="line">&lt;span class="cl">rate(os_process_group_cpu_seconds_total{process_group=&amp;#34;backend&amp;#34;}[5m]) &amp;gt; 4
&lt;/span>&lt;/span>&lt;span class="line">&lt;span class="cl">
&lt;/span>&lt;/span>&lt;span class="line">&lt;span class="cl"># память группы больше 8 ГиБ
&lt;/span>&lt;/span>&lt;span class="line">&lt;span class="cl">os_process_group_rss_bytes{process_group=&amp;#34;backend&amp;#34;} &amp;gt; 8 * 1024 * 1024 * 1024
&lt;/span>&lt;/span>&lt;/code>&lt;/pre>&lt;/div>&lt;p>Для порога по CPU используйте &lt;code>rate()&lt;/code>: счётчик сбрасывается при перезапуске приёма, и &lt;code>rate()&lt;/code> учитывает сброс. Полный список метрик — в справочнике &lt;a href="../../../setup/agent/metrics/#%d0%bc%d0%b5%d1%82%d1%80%d0%b8%d0%ba%d0%b8-%d0%b3%d1%80%d1%83%d0%bf%d0%bf-%d0%bf%d1%80%d0%be%d1%86%d0%b5%d1%81%d1%81%d0%be%d0%b2">Метрики, собираемые агентом&lt;/a>.&lt;/p></description></item></channel></rss>