Сбор кастомных JMX-метрик в Proto Observability

init_config:
  is_jmx: true
  # Современные имена GC-метрик (jvm_gc_minor_collection_count и т. п.)
  new_gc_metrics: true

instances:
    # Обязательно: трейсер собирает метрики только из instance'ов
    # с jvm_direct: true — подключение идёт внутри той же JVM.
  - jvm_direct: true
    name: my_app_custom_metrics
    conf:
      # Размер очереди заказов: com.example.app:type=OrderQueue -> Size
      - include:
          domain: com.example.app
          bean: 'com.example.app:type=OrderQueue'
          attribute:
            Size:
              alias: myapp.orders.queue_size
              metric_type: gauge
            RejectedCount:
              alias: myapp.orders.rejected
              metric_type: monotonic_count

      # Все пулы соединений приложения; имя пула станет лейблом `pool`
      - include:
          domain: com.example.app
          bean_regex: 'com\.example\.app:type=ConnectionPool,pool=.*'
          attribute:
            ActiveConnections:
              alias: myapp.pool.active
              metric_type: gauge
            IdleConnections:
              alias: myapp.pool.idle
              metric_type: gauge

java -javaagent:/path/to/pobp-java-agent.jar \
  -Dpobp.service=my_service_name \
  -Dpobp.jmxfetch.config.dir=/etc/protoobp/jmx \
  -Dpobp.jmxfetch.config=custom-metrics.yaml \
  -jar my_app.jar

export POBP_JMXFETCH_CONFIG_DIR=/etc/protoobp/jmx
export POBP_JMXFETCH_CONFIG=custom-metrics.yaml

FROM eclipse-temurin:17-jre
WORKDIR /opt/app

ENV POBP_AGENT_HOST="protoobp-agent"
ENV POBP_SERVICE="my_service_name"
# Необходимо для доставки JMX-метрик агенту в контейнере
ENV POBP_DOGSTATSD_NON_LOCAL_TRAFFIC="true"
# Кастомные JMX-метрики
ENV POBP_JMXFETCH_CONFIG_DIR="/etc/protoobp/jmx"
ENV POBP_JMXFETCH_CONFIG="custom-metrics.yaml"

COPY pobp-java-agent.jar /opt/app/pobp-java-agent.jar
COPY custom-metrics.yaml /etc/protoobp/jmx/custom-metrics.yaml
COPY target/my-app.jar /opt/app/my-app.jar

CMD ["java", "-javaagent:/opt/app/pobp-java-agent.jar", "-jar", "/opt/app/my-app.jar"]

apiVersion: v1
kind: ConfigMap
metadata:
  name: pobp-jmx-config
data:
  custom-metrics.yaml: |
    init_config:
      is_jmx: true
    instances:
      - jvm_direct: true
        name: my_app_custom_metrics
        conf:
          - include:
              domain: com.example.app
              attribute:
                Size:
                  alias: myapp.orders.queue_size
                  metric_type: gauge    
---
apiVersion: apps/v1
kind: Deployment
#(...)
    spec:
      containers:
        - name: my-app
          env:
            - name: POBP_SERVICE
              value: my_service_name
            - name: POBP_AGENT_HOST
              valueFrom:
                fieldRef:
                  fieldPath: status.hostIP
            - name: POBP_DOGSTATSD_NON_LOCAL_TRAFFIC
              value: "true"
            - name: POBP_JMXFETCH_CONFIG_DIR
              value: /etc/protoobp/jmx
            - name: POBP_JMXFETCH_CONFIG
              value: custom-metrics.yaml
          volumeMounts:
            - name: pobp-jmx-config
              mountPath: /etc/protoobp/jmx
      volumes:
        - name: pobp-jmx-config
          configMap:
            name: pobp-jmx-config

-Dcom.sun.management.jmxremote \
-Dcom.sun.management.jmxremote.port=9010 \
-Dcom.sun.management.jmxremote.rmi.port=9010 \
-Dcom.sun.management.jmxremote.authenticate=false \
-Dcom.sun.management.jmxremote.ssl=false \
-Dcom.sun.management.jmxremote.local.only=false \
-Djava.rmi.server.hostname=<имя_хоста_или_адрес_интерфейса>

init_config:
  is_jmx: true
  new_gc_metrics: true
  # Дополнительные jar'ы в classpath JVM агента, если нужны свои классы
  # custom_jar_paths:
  #   - /opt/protoobp/myapp-jmx-classes.jar

instances:
  - host: localhost
    port: 9010
    name: myapp_instance
    # Собирать стандартные метрики JVM вместе с кастомными (по умолчанию true)
    collect_default_jvm_metrics: true
    # user: monitorRole      # если на JMX включена аутентификация
    # password: <пароль>
    tags:
      - service:my_service_name
      - env:prod
    conf:
      - include:
          domain: com.example.app
          bean: 'com.example.app:type=OrderQueue'
          attribute:
            Size:
              alias: myapp.orders.queue_size
              metric_type: gauge

systemctl restart protoobp-agent

services:
  my-app:
    labels:
      com.protoobp.ad.check_names: '["myapp"]'
      com.protoobp.ad.init_configs: '[{"is_jmx": true, "new_gc_metrics": true}]'
      com.protoobp.ad.instances: >-
        [{"host": "%%host%%", "port": "9010", "name": "myapp_instance",
          "conf": [{"include": {"domain": "com.example.app",
                                "attribute": {"Size": {"alias": "myapp.orders.queue_size",
                                                       "metric_type": "gauge"}}}}]}]        

conf:
  # Собрать весь домен, кроме служебных bean'ов
  - include:
      domain: com.example.app
    exclude:
      bean_regex:
        - 'com\.example\.app:type=Internal.*'

attribute:
  Size:
    alias: myapp.orders.queue_size
    metric_type: gauge
  TotalProcessed:
    alias: myapp.orders.processed
    metric_type: monotonic_count

conf:
  - include:
      domain: com.example.app
      bean: 'com.example.app:type=Cache'
      attribute:
        Stats.hitCount:
          alias: myapp.cache.hits
          metric_type: monotonic_count
        Stats.missCount:
          alias: myapp.cache.misses
          metric_type: monotonic_count

myapp_orders_queue_size

instances:
  - jvm_direct: true
    name: my_app_custom_metrics
    max_returned_metrics: 2000
    conf:
      # ...

-Dorg.slf4j.simpleLogger.log.org.datadog.jmxfetch=debug

docker exec protoobp-agent agent status | grep -A 8 "^    myapp$"

# Все атрибуты, подошедшие под фильтры и собираемые сейчас
docker exec protoobp-agent agent jmx list collected

# Атрибуты, подошедшие под include, но не собираемые (не числовые и т. п.)
docker exec protoobp-agent agent jmx list matching

# Всё, что доступно в JVM — для поиска нужных bean'ов и атрибутов
docker exec protoobp-agent agent jmx list everything

# Атрибуты, отброшенные из-за лимита max_returned_metrics
docker exec protoobp-agent agent jmx list limited