Мониторинг Python приложений с помощью Proto Observability Platform

На этой странице:

• Введение
• Установка Python трейсера
• Конфигурация трейсера
  • Если приложение запускается в Docker контейнере
  • Если приложение работает в Kubernetes
• Поддерживаемые технологии трейсером
  • Версии Python
  • Автоматическая инструментация библиотек и фреймворков
  • Хранилища данных
  • Прочие библиотеки
• Дополнительная инструментация вызовов
• Кастомные метрики Python приложений
  • Типы кастомных метрик

Введение

Общий процесс подключения Python приложения на мониторинг:

1. Установка ProtoOBP Агента.
2. Установка трейсера.
3. Конфигурация трейсера (опционально).

После подключения будут доступны все возможности модуля Application Performance Monitoring Proto Observability Platform.

Установка Python трейсера

• Трейсер:
• ProtoOBP
• Datadog
• New Relic
• OpenTelemetry

Конфигурация трейсера

Если приложение запускается в Docker контейнере

• Трейсер:
• ProtoOBP
• Datadog
• New Relic
• OpenTelemetry

FROM python:latest

WORKDIR /
COPY requirements.txt .

ARG PROTOOBP_INSTALL_TOKEN_NAME
ARG PROTOOBP_INSTALL_TOKEN_KEY

RUN pip install pobptrace --user --index-url "https://${PROTOOBP_INSTALL_TOKEN_NAME}:${PROTOOBP_INSTALL_TOKEN_KEY}@git.proto.group/api/v4/projects/125/packages/pypi/simple"
RUN pip install -r requirements.txt --user

ENV POBP_SERVICE="hello-world"
ENV POBP_AGENT_HOST="protoobp-agent" 
ENV POBP_TRACE_TELEMETRY_ENABLED="false"

CMD ["pobptrace-run", "python", "app.py"]

FROM python:latest

WORKDIR /
COPY requirements.txt .

RUN pip install ddtrace
RUN pip install -r requirements.txt --user

ENV DD_SERVICE="hello-world"
ENV DD_AGENT_HOST="protoobp-agent" 
ENV DD_TRACE_TELEMETRY_ENABLED="false"

CMD ["ddtrace-run", "python", "app.py"]

Если приложение работает в Kubernetes

Убедитесь, что у вас успешно установлен и настроен ProtoOBP Агент для Kubernetes.

• Трейсер:
• ProtoOBP
• Datadog
• New Relic
• OpenTelemetry

apiVersion: apps/v1
kind: Deployment
#(...)
    spec:
      containers:
      - name: "<CONTAINER_NAME>"
        image: "<CONTAINER_IMAGE>/<TAG>"
        env:
          - name: POBP_SERVICE
            value: dispatch			
          - name: POBP_AGENT_HOST
            valueFrom:
              fieldRef:
                fieldPath: status.hostIP
          - name: NODE_NAME
            valueFrom:
              fieldRef:
                fieldPath: spec.nodeName
          - name: POD_NAMESPACE
            valueFrom:
              fieldRef:
                fieldPath: metadata.namespace
          - name: POD_NAME
            valueFrom:
              fieldRef:
                fieldPath: metadata.name
          - name: POBP_TAGS
            value: "pod_name:$(POD_NAME),node:$(NODE_NAME),kube_namespace:$(POD_NAMESPACE),kube_cluster_name:<my_cluster_name>"            
            

При этом все равно необходимо добавлять аннотацию к поду, в которой указать версию образа библиотеки инструментации.

apiVersion: apps/v1
kind: Deployment
#(...)
    spec:
      containers:
      - name: "<CONTAINER_NAME>"
        image: "<CONTAINER_IMAGE>/<TAG>"
        env:
          - name: DD_SERVICE
            value: dispatch			
          - name: DD_AGENT_HOST
            valueFrom:
              fieldRef:
                fieldPath: status.hostIP
          - name: NODE_NAME
            valueFrom:
              fieldRef:
                fieldPath: spec.nodeName
          - name: POD_NAMESPACE
            valueFrom:
              fieldRef:
                fieldPath: metadata.namespace
          - name: POD_NAME
            valueFrom:
              fieldRef:
                fieldPath: metadata.name
          - name: DD_TAGS
            value: "pod_name:$(POD_NAME),node:$(NODE_NAME),kube_namespace:$(POD_NAMESPACE),kube_cluster_name:<my_cluster_name>"
      

Поддерживаемые технологии трейсером

Версии Python

• Трейсер:
• ProtoOBP
• Datadog
• New Relic
• OpenTelemetry

Автоматическая инструментация библиотек и фреймворков

• Трейсер:
• ProtoOBP
• Datadog
• New Relic
• OpenTelemetry

Хранилища данных

• Трейсер:
• ProtoOBP
• Datadog
• New Relic
• OpenTelemetry

Прочие библиотеки

• Трейсер:
• ProtoOBP
• Datadog
• New Relic
• OpenTelemetry

Дополнительная инструментация вызовов

Дополнительную инструментацию можно использовать, если в перечене автоматически инструментированных библиотек и фреймворков нет необходимых.

Для примера будет использоваться следующий код приложения:

def make_sandwich_request(request):
    ingredients = get_ingredients()
    sandwich = assemble_sandwich(ingredients)

• Способ:
• Декоратор
• Context Manager
• Ручной

@tracer.wrap(service="my-sandwich-making-svc", resource="resource_name")
def get_ingredients():
    # сходить в кладовку
    # сходить к холодильнику
    # может быть сходить в магазин
    return

# можно добавить больше данных для кастомизации спана
@tracer.wrap("assemble_sandwich", service="my-sandwich-making-svc", resource="resource_name")
def assemble_sandwich(ingredients):
    return

from pobptrace import tracer

def make_sandwich_request(request):
    # запишем обе операции в спаны
    with tracer.trace("sandwich.make"):
        ingredients = get_ingredients()
        sandwich = assemble_sandwich(ingredients)

def make_sandwich_request(request):
    # запишем обе операции в спаны
    with tracer.trace("sandwich.create", resource="resource_name") as outer_span:

        with tracer.trace("get_ingredients", resource="resource_name") as span:
            ingredients = get_ingredients()

        with tracer.trace("assemble_sandwich", resource="resource_name") as span:
            sandwich = assemble_sandwich(ingredients)

from pobptrace import tracer
def make_sandwich_request(request):
    span = tracer.trace("sandwich.create", resource="resource_name")
    ingredients = get_ingredients()
    sandwich = assemble_sandwich(ingredients)
    span.finish()  # не забудьте закрыть спан

Кастомные метрики Python приложений

Кастомные, например, бизнес-метрики, можно генерировать напрямую из приложения и отсылать на Агента.

1. Подключите библиотеку protoobp выполнив:

   pip install protoobp --user --index-url "https://<token_name>:<token_key>@git.proto.group/api/v4/projects/125/packages/pypi/simple"
   

   имя и значение токена находятся в вашем лицензионном сертификате Proto Observability Platform.

   Пример для Dockerfile и .gitlab-ci.yml:

   • в настройках проекта в Gitlab добавьте две переменные окружения (Проект -> Settings -> CI/CD -> Variables):

     • имя: PROTOOBP_INSTALL_TOKEN_NAME, значение = ваши данные из лицензионного сертификата (token или логин)
     • имя: PROTOOBP_INSTALL_TOKEN_KEY, значение = ваши данные из лицензионного сертификата (пароль)

   • .gitlab-ci.yml – необходимо передать значения переменных от Gitlab CI к docker build через --build-arg:

       script:
         - docker build --build-arg PROTOOBP_INSTALL_TOKEN_NAME=${PROTOOBP_INSTALL_TOKEN_NAME} --build-arg PROTOOBP_INSTALL_TOKEN_KEY=${PROTOOBP_INSTALL_TOKEN_KEY} .
     

   • Dockerrfile – необходимо добавить переменные окружения через ARG и передать их в pip install --index-url:

     FROM python:latest
     ARG PROTOOBP_INSTALL_TOKEN_NAME
     ARG PROTOOBP_INSTALL_TOKEN_KEY
     RUN pip install protoobp --user --index-url "https://${PROTOOBP_INSTALL_TOKEN_NAME}:${PROTOOBP_INSTALL_TOKEN_KEY}@git.proto.group/api/v4/projects/125/packages/pypi/simple"
     

2. Инициализируйте StatsD клиента, используя UDP в коде приложения:

   from protoobp import initialize, statsd
   
   options = {
       "statsd_host": "127.0.0.1",
       "statsd_port": 8125,
   }
   
   initialize(**options)
   

3. Теперь можно добавлять собственные метрики, пример использования:

   from protoobp import initialize, statsd
   import time
   
   options = {
       'statsd_host':'127.0.0.1',
       'statsd_port':8125
   }
   
   initialize(**options)
   
   while(1):
     statsd.increment('example_metric.increment', tags=["environment:dev"])
     statsd.decrement('example_metric.decrement', tags=["environment:dev"])
     time.sleep(10)
   

Типы кастомных метрик

После установки библиотеки для отправки метрик в Protoobp будут доступны следующие функции в зависимости от типа метрик. Функции имеют следующие общие параметры:

1. COUNT

   • increment(<METRIC_NAME>, <SAMPLE_RATE>, <TAGS>)
     Используется для увеличения значения метрики типа COUNT.

   • decrement(<METRIC_NAME>, <SAMPLE_RATE>, <TAGS>)
     Используется для уменьшения значения метрики типа COUNT.

   Пример:

   from protoobp import initialize, statsd
   import time
   
   options = {
       'statsd_host':'127.0.0.1',
       'statsd_port':8125
   }
   
   initialize(**options)
   
   while(1):
     statsd.increment('example_metric.increment', tags=["environment:dev"])
     statsd.decrement('example_metric.decrement', tags=["environment:dev"])
     time.sleep(10)
   

   Обратите внимание

   Не забудьте сделать flush / close клиента, когда он уже более не нужен.

2. GAUGE

   • gauge(<METRIC_NAME>, <METRIC_VALUE>, <SAMPLE_RATE>, <TAGS>)

   Пример:

   from protoobp import initialize, statsd
   import time
   
   options = {
       'statsd_host':'127.0.0.1',
       'statsd_port':8125
   }
   
   initialize(**options)
   
   i = 0
   
   while(1):
     i += 1
     statsd.gauge('example_metric.gauge', i, tags=["environment:dev"])
     time.sleep(10)
   

   Обратите внимание

   Не забудьте сделать flush / close клиента, когда он уже более не нужен.

3. HISTOGRAM

   • histogram(<METRIC_NAME>, <METRIC_VALUE>, <SAMPLE_RATE>, <TAGS>)
     Отправляются агрегаты max, median, avg и count.
     Отправляется 95-й перцентиль.

   Пример:

   from protoobp import initialize, statsd
   import time
   import random
   
   options = {
       'statsd_host':'127.0.0.1',
       'statsd_port':8125
   }
   
   initialize(**options)
   
   while(1):
     statsd.histogram('example_metric.histogram', random.randint(0, 20), tags=["environment:dev"])
     time.sleep(2)   
   

   Обратите внимание

   Не забудьте сделать flush / close клиента, когда он уже более не нужен.

   Пример выше создаст следующие метрики:

   Метрика	Описание
   example_metric_histogram_count	Количество раз сбора метрики
   example_metric_histogram_avg	Среднее из собранных значений
   example_metric_histogram_median	Медианное значение собранных значений
   example_metric_histogram_max	Максимум среди собранных значений
   example_metric_histogram_95percentile	95-й перцентиль собранных значений