AI-консалтинг: стратегия, оценка применимости, дорожная карта
Компания потратила полгода и $200k на «внедрение AI», а на выходе — Jupyter-ноутбук в папке и дашборд, который никто не открывает. Типичная картина, когда AI-проект стартует с выбора модели вместо анализа бизнес-процесса.
Что чаще всего идёт не так
Неверно поставленная задача. «Хотим предсказывать отток» — это не задача для ML. Задача: «отток среди B2B-клиентов с контрактом >$10k/год, признаки — снижение логинов >40% за 30 дней, сокращение использования ≥2 ключевых фич, задержка оплаты». Без такой декомпозиции модель обучается на прокси-признаках, которые исчезают при следующем A/B-тесте продукта.
Переоценка данных. Клиент говорит «у нас 5 лет данных». На деле: схема менялась трижды, первые два года — в другой системе, 30% записей без ключевого атрибута. После аудита пригодного датасета — 14 месяцев, 60k записей с пропусками в целевой переменной. Это меняет весь план: вместо deep learning — gradient boosting с тщательной feature engineering.
Отсутствие baseline. Прежде чем строить модель, нужно знать: а каков текущий результат без ML? Если аналитик вручную даёт precision 0.68 на задаче классификации, а ваша «умная» модель — 0.71, стоит ли это полугода разработки?
Как выглядит AI-аудит
Оценка применимости AI занимает 2–4 недели и включает несколько компонентов.
Data audit. Смотрим на сырые данные: полнота, качество меток, distribution shift между периодами, утечки в обучающей выборке (это чаще, чем кажется — особенно при join'е таблиц с будущими значениями target). Инструменты: pandas-profiling / ydata-profiling, great_expectations для DQ-правил, SQL-аналитика напрямую в PostgreSQL.
Process mapping. Где в бизнес-процессе ML даст ценность: ускорение, снижение ошибок, автоматизация решений? Рисуем AS-IS и TO-BE с конкретными точками интеграции модели.
Feasibility scoring. Каждый use case оцениваем по матрице: объём данных × качество разметки × бизнес-ценность × техническая сложность. Результат — приоритизированный бэклог с честной оценкой рисков.
ROI: считаем реалистично
Три компонента ROI для ML-проекта:
-
Прямая экономия — замена ручного труда. Если классификатор заменяет 3 операторов по $40k/год, это $120k/год до затрат на инфраструктуру и поддержку.
-
Качество решений — увеличение precision/recall в бизнес-метриках. Например, рост precision фрод-детекции с 0.71 до 0.89 при recall 0.85 = снижение ложных блокировок = меньше оттока клиентов.
-
Скорость — если скоринг заявки снижается с 48 часов до 2 минут, это конверсия, а не только операционная эффективность.
Честный ROI-расчёт включает: стоимость разработки, стоимость инфраструктуры (GPU/CPU инференс, хранение данных), стоимость поддержки и переобучения модели, стоимость мониторинга. Модели деградируют — это факт, и бюджет на поддержку часто составляет 30–40% от бюджета разработки в год.
Технологический выбор без религии
Принципиальный вопрос консалтинга: когда LLM, а когда классический ML?
LLM нужен, когда задача требует понимания неструктурированного текста, генерации, диалога. Для структурированных табличных данных — XGBoost, LightGBM, CatBoost обычно выигрывают у нейросетей по качеству, интерпретируемости и стоимости инференса. На $10/мес CPU-инстансе.
Аналогично с RAG vs fine-tuning: если знания статичны и хорошо структурированы — RAG через LlamaIndex или LangChain с pgvector дешевле и поддерживается легче. Если нужна специфическая манера ответа или новый «язык» — fine-tuning через PEFT/LoRA.
Дорожная карта: от пилота к продукту
Типичный AI-roadmap строится в три горизонта:
0–3 месяца (Quick wins). Выбираем 1–2 use case с хорошими данными и чётким ROI. Строим MVP с baseline-моделью, деплоим в production в shadow mode — модель принимает решения параллельно с людьми, результаты сравниваются. Это снижает риск и строит доверие к AI внутри команды.
3–12 месяцев (Core platform). Строим MLOps-фундамент: feature store, CI/CD для моделей, мониторинг дрейфа через evidently, реестр моделей в MLflow. Масштабируем 2–3 успешных use case.
12+ месяцев (Scale). Переход к более сложным архитектурам, автоматизация переобучения, расширение на новые домены.
Сроки консалтингового проекта: AI-аудит — 2–4 недели, разработка стратегии и roadmap — 3–6 недель, сопровождение пилота — 2–4 месяца. Конкретные сроки зависят от сложности процессов и доступности данных и ключевых стейкхолдеров с вашей стороны.