Аудит существующей AI-системы: качество, производительность, безопасность
AI-системы деградируют. Модели дрейфуют, данные меняются, угрозы эволюционируют, бизнес-требования трансформируются. Регулярный аудит позволяет обнаружить проблемы до их влияния на бизнес.
Что проверяется
Quality Audit:
Model Performance: текущие метрики vs. baseline при деплое. Concept drift — изменилось ли распределение данных. Производительность на подгруппах (слайсинг по сегментам).
Data Quality: pipeline integrity — данные доходят без трансформационных ошибок. Feature distribution drift. Missing values, outliers в production.
Output Quality: для LLM-систем — evaluation на golden dataset. Hallucination rate. Relevance scores.
Performance Audit:
Latency percentiles (p50, p95, p99). Throughput под нагрузкой. Resource utilization (GPU/CPU). Cost per inference. Bottleneck analysis.
Security Audit:
Adversarial Robustness: устойчивость к adversarial inputs. Prompt injection для LLM-систем. Data poisoning vectors.
Model Extraction: риск кражи модели через API.
Data Privacy: утечки training data через model inversion. PII в логах.
Access Control: who can query the model, with what rate limits, what inputs are filtered.
Процесс аудита
Неделя 1: Документация. Существующая документация системы, архитектура, версии.
Недели 2–3: Technical assessment. Performance benchmarking. Security tests.
Неделя 4: Findings report. Prioritized recommendations.
Deliverables
Audit Report: executive summary + technical details. Risk Register с приоритизацией. Remediation Roadmap с оценкой усилий. Monitoring Recommendations.
Периодичность
Рекомендуем: quarterly для high-risk систем, semi-annual для medium-risk, annual для low-risk.