Разработка системы KPI и метрик для AI-сотрудников
KPI для AI-агентов принципиально отличаются от KPI для людей. Нет «удовлетворённости работой» или «инициативности». Зато есть чёткие, измеримые метрики производительности, качества и эффективности, которые нужно правильно спроектировать.
Категории метрик
Volume метрики:
- Tasks Completed / Week (задач в неделю)
- Throughput (объём обработанных данных/документов/запросов)
- Response Time (время от получения задачи до результата)
- Availability (% времени агент доступен)
Quality метрики:
- Human Acceptance Rate — % результатов, принятых без доработки
- Error Rate — % задач с ошибками, требующими исправления
- Escalation Rate — % задач, переданных человеку (желательно снижение со временем)
- CSAT (для agentов поддержки) — удовлетворённость пользователей
Efficiency метрики:
- Cost per Task (LLM + infrastructure cost на задачу)
- Token Efficiency (результативность на токен)
- Cache Hit Rate (доля кэшированных запросов)
Reliability метрики:
- Uptime (доступность агента)
- Task Completion Rate (% задач, завершённых без сбоя)
- Recovery Time (время восстановления после ошибки)
Дашборд и reporting
Grafana дашборд с real-time метриками. Еженедельные отчёты: top/bottom performers по агентам, trend метрик, cost breakdown. Monthly review: какие агенты ROI-positive.
Benchmarking
Сравнение с baseline: сколько задач выполнял человек на этой роли за то же время. Это ключевой показатель для обоснования AI-воркфорса.