Настройка трейсинга и аудита действий AI-агентов в Paperclip
Автономные AI-агенты принимают решения и совершают действия. Для корпоративного применения критически важна полная трассируемость: кто поставил задачу, что агент решил, какие инструменты вызвал, что получил в ответ, какое решение принял.
Что трейсируется
Полный trace выполнения задачи:
- Входящая задача (кто, когда, содержание)
- Каждый LLM-вызов (промпт, ответ, токены, модель, стоимость, время)
- Каждый вызов инструмента (название, параметры, результат, время)
- Решения агента (выбор пути, причина эскалации)
- Финальный результат
Хранение: PostgreSQL для структурированных данных. S3/MinIO для полных промптов и ответов (объёмные данные). Retention policy: по умолчанию 90 дней, configurable.
Интеграция с observability-платформами
LangSmith (LangChain): специализированный трейсинг для LLM. Визуализация цепочки вызовов, поиск по traces, evaluation.
Weights & Biases (W&B): если нужен мониторинг качества ответов в динамике.
Datadog / Grafana: системные метрики + custom metrics по агентным задачам.
Audit Log
Неизменяемый лог всех действий (append-only). Подпись каждой записи для обнаружения tampering. Используется для compliance аудита, разбора инцидентов, доказательства действий агента.