Разработка системы контроля качества AI-воркфорса
Контроль качества AI-воркфорса — систематическая проверка качества работы AI-агентов через sampling, автоматическую оценку и human review. Без QC система деградирует незаметно: промпты устаревают, LLM обновляются, данные дрейфуют.
Sampling стратегия
Проверять все задачи нереально при масштабе. Правильный sampling:
Случайная выборка: 2–5% всех задач для базового мониторинга. Статистически репрезентативна.
Стратифицированный sampling: отдельные выборки по типам задач, приоритетам, клиентам. Не пропустим проблему в редкой категории.
Risk-based sampling: усиленный контроль для задач с низким confidence score, новых типов задач, high-value клиентов.
Triggered sampling: при аномалии (рост ошибок, снижение confidence) — автоматическое увеличение sampling rate.
class QualitySampler:
def should_sample(self, task: CompletedTask) -> tuple[bool, str]:
# Risk-based приоритеты
if task.confidence_score < 0.6:
return True, "low_confidence"
if task.task_type in self.high_risk_types:
return random.random() < 0.20, "high_risk_type" # 20% sampling
if task.customer_tier == "enterprise":
return random.random() < 0.10, "enterprise_customer"
# Базовый random sampling 3%
return random.random() < 0.03, "random"
Автоматическая оценка через LLM-судью
class LLMQualityJudge:
def __init__(self, judge_model: str = "gpt-4o"):
self.client = OpenAI()
self.judge_model = judge_model
def evaluate(self, task: AgentTask, result: AgentResult, rubric: EvalRubric) -> QualityScore:
prompt = f"""Ты судья качества AI-агента. Оцени работу агента по рубрике.
ЗАДАЧА: {task.description}
КОНТЕКСТ: {task.context}
ОЖИДАЕМЫЙ РЕЗУЛЬТАТ: {task.expected_outcome}
ФАКТИЧЕСКИЙ РЕЗУЛЬТАТ: {result.output}
ДЕЙСТВИЯ АГЕНТА: {format_agent_trace(result.trace)}
РУБРИКА ОЦЕНКИ:
{rubric.to_text()}
Оцени каждый критерий от 0 до 5 и дай итоговую оценку."""
response = self.client.chat.completions.create(
model=self.judge_model,
messages=[{"role": "user", "content": prompt}],
response_format={"type": "json_object"},
)
scores = json.loads(response.choices[0].message.content)
return QualityScore(
criteria_scores=scores["criteria"],
overall=scores["overall"],
reasoning=scores["reasoning"],
flagged_issues=scores.get("issues", [])
)
Calibration: LLM-судья vs человек
LLM-судья склонен к смещениям: favors longer answers, penalizes certain styles. Регулярная калибровка:
def calibrate_judge(judge: LLMQualityJudge, human_labels: list[HumanLabel]) -> CalibrationReport:
judge_scores = [judge.evaluate(l.task, l.result, rubric).overall for l in human_labels]
human_scores = [l.human_score for l in human_labels]
# Cohen's Kappa для согласованности
kappa = cohen_kappa_score(
[round(s) for s in human_scores],
[round(s) for s in judge_scores]
)
# Систематическое смещение
bias = np.mean(np.array(judge_scores) - np.array(human_scores))
return CalibrationReport(
kappa=kappa, # цель > 0.6
bias=bias, # цель ≈ 0
correlation=np.corrcoef(human_scores, judge_scores)[0, 1],
needs_recalibration=kappa < 0.5 or abs(bias) > 0.3
)
Human review workflow
Флагированные задачи попадают в очередь на ручную проверку. Приоритет: низкий confidence + высокий impact → первыми. Интерфейс reviewer: задача, ответ агента, оценка AI-судьи, поля для оценки и комментария. SLA: enterprise задачи — проверка в течение 4 часов, стандартные — 24 часа.
Отчётность и trend tracking
Еженедельный QC-отчёт: sampling statistics, distribution оценок, топ-10 проблем, сравнение с прошлой неделей. Если средний quality score снизился на > 0.1 за неделю — автоматический алерт на команду.