Мониторинг Яндекс Облака с помощью Proto Observability Platform

Этот документ описывает настройку и поведение интеграции Proto Observability Platform c Yandex Cloud, которая собирает Prometheus‑метрики через Yandex Cloud Monitoring API.

В системе доступен сбор любых метрик из Яндекс Облако, для метрик Compute Cloud доступны встроенные дашборды:

Ссылки на официальную документацию:

Yandex Cloud Monitoring API: https://yandex.cloud/ru/docs/monitoring/api-ref/
Как получить API токен: https://yandex.cloud/ru/docs/monitoring/api-ref/authentication
Справочник метрик: https://yandex.cloud/ru/docs/monitoring/metrics-ref/

Конфигурация

Файлы интеграции для Агента пока не поставляется вместе с дистрибутивом Агента, для получения файлов обратитесь в техническую поддержку вендора или вашего системного интегратора.

После получения необходимых файлов, создайте файл conf.d/yandex_cloud.d/conf.yaml для настройки параметров сбора метрик.

Пример конфигурации conf.d/yandex_cloud.d/conf.yaml:

init_config:

instances:
  - # Обязательно: folder_id и yandex_cloud_service (можно через env vars)
    folder_id:
      - "b1ge03voot402tf2b9qq"
      - "b1gm39s9tud92v06dkd8"
    yandex_cloud_service:
      - "compute"
      - "managed-clickhouse"
      - "managed-kubernetes"

    # Обязательно: API key (можно через env var YANDEX_API_KEY)
    api_key: "..."

    # Метрики для отбора; пустой список = собирать все метрики сервиса
    metrics:
      # - cpu_usage
      # - cpu_utilization

    # Опционально: какие лейблы превращать в теги (пусто = все лейблы)
    # label "service" будет переименована в тег "yandex_cloud_service".
    label_tag_allowlist: []
      # - resource_id
      # - resource_type
      # - cpu_name

    # Опционально: статические теги
    tags:
      - platform:yandex_cloud

    # Опционально: настройки запроса
    endpoint: "https://monitoring.api.cloud.yandex.net/monitoring/v2/prometheusMetrics"
    metric_prefix: "yandex_cloud."
    timeout: 10
    ssl_verify: true

Переменные окружения

• YANDEX_API_KEY — API ключ для Yandex Cloud.
• YANDEX_FOLDER_ID — ID папки (может быть список, разделенный запятыми или пробелами).
• YANDEX_SERVICE — имя сервиса (может быть список, разделенный запятыми или пробелами).

Настройки и их описание

• api_key — обязательный API ключ. Передается в Authorization: Bearer <token>.
• folder_id — обязательный ID папки или список ID. Принимает список или строку с разделителями , и пробелами.
• yandex_cloud_service — обязательный список сервисов Yandex Cloud. Дополнительно поддержан алиас service.
• endpoint — URL для Prometheus Metrics API. По умолчанию используется официальный endpoint.
• timeout — таймаут HTTP‑запроса, секунды (по умолчанию 10).
• ssl_verify — проверка TLS сертификата (true/false).
• metric_prefix — префикс, добавляемый ко всем метрикам (по умолчанию yandex_cloud.). Может быть пустой строкой.
• metrics — список имен метрик для отбора. Пусто/отсутствует = все метрики, которые вернул API.
• label_tag_allowlist — список имен лейблов, которые превращаются в теги. Пусто = все лейблы.
• tags — статические теги, добавляются ко всем метрикам.

Как происходит сбор метрик

• Для каждой пары folder_id + yandex_cloud_service выполняется GET запрос: endpoint?folderId=<folder_id>&service=<service>.
• Ответ читается как Prometheus text format и парсится построчно.
• Все значения отправляются как gauge.
• Типы метрик из документации Yandex Cloud Monitoring (например, RATE, HIST_RATE, DGAUGE, IGAUGE) не сохраняются и не маппятся: в Proto Observability Platform они попадают как gauge, поэтому гистограммы и rate не обрабатываются автоматически.
• Для UI: метрики типа RATE (например, байты/с, операции/с) отображайте как «текущее значение».
• Некорректные и нечисловые значения игнорируются.

Теги, которые добавляются автоматически

К каждому измерению добавляются:

• folder_id:<id> — ID папки.
• yandex_cloud_service:<service> — сервис, для которого запрашивались метрики.
• Лейблы из Prometheus‑метрик (с учетом label_tag_allowlist).
  • Лейбл service автоматически переименовывается в yandex_cloud_service.

Особый случай для дисков:

• Если метрика содержит disk, но не содержит instance, то интеграция пытается найти instance из других метрик с тем же disk и добавляет его.
• Для дисковых метрик добавляется resource_id, равный instance (или найденному по disk).

Список метрик

• yandex_cloud_services — служебная метрика (gauge = 1) на каждую комбинацию folder_id + service.
• Все метрики, которые возвращает Yandex Cloud Monitoring Prometheus Metrics API для указанных сервисов.
  • В Proto Observability Platform итоговое имя метрики формируется как yandex_cloud_ + исходное имя метрики, при этом точки заменяются на _.
  • Пример: filestore.read_ops → yandex_cloud_filestore_read_ops.
  • Для ограничения набора используйте параметр metrics (используйте исходные имена из Yandex Cloud Monitoring).

Метрики Compute Cloud

Общие сведения:

• Все метрики Compute Cloud имеют метку yandex_cloud_service=compute.
• Если у ресурса задано имя, в метриках возвращается имя; иначе — идентификатор.
• В таблицах ниже приведены итоговые имена метрик в Proto Observability Platform: префикс yandex_cloud_ + имя из Yandex Cloud Monitoring, точки заменяются на _.

Метрики виртуальных машин и дисков

Метрики файловых хранилищ

Общие метки для метрик файловых хранилищ:

• filestore — идентификатор файлового хранилища.
• instance — имя виртуальной машины.

Метрики групп виртуальных машин

Доступные метрики зависят от типа масштабирования группы ВМ.