Реализация Prompt Engineering для AI-системы
Внедрили LLM в чат-бот поддержки — и получили 40% галлюцинаций? Знакомая ситуация. Один из наших клиентов, fintech-стартап, потратил месяц на разработку чат-бота для кредитных консультаций. Промпт писал стажёр за час — результат: 40% ответов содержали неверные данные о процентных ставках и сроках. Мы за две недели спроектировали многоуровневый промпт с анти-галлюцинационной инструкцией, верификацией через chain-of-verification и few-shot примерами. Галлюцинации снизились до 3%, точность повысилась с 55% до 94%, а p95 latency уменьшился в 2 раза. За 5 лет работы с AI-системами мы выработали подход, который даёт предсказуемый p95 latency и точность >95% на production-нагрузках.
Prompt Engineering — дисциплина конструирования входных данных для LLM с целью получения предсказуемых, качественных результатов. Включает структурирование запросов, управление контекстом, выбор техник (CoT, Few-Shot, ReAct), настройку параметров и итеративную калибровку.
Почему стандартные промпты не работают в production?
Частая ошибка — промпты, написанные разработчиком за десять минут. Они дают приемлемый ответ на 2–3 ручных тестах, но проваливаются на реальной нагрузке. Основные проблемы:
- Hallucination — модель додумывает то, чего нет в контексте. Без анти-галлюцинационных инструкций до 30% ответов содержат ложные факты.
- Контекстная чувствительность — маленькое изменение формулировки меняет ответ полностью. Температура и top-p, не привязанные к типу задачи, создают невоспроизводимость.
- Отсутствие обработки ошибок — при отсутствии данных модель не говорит «не знаю», а изобретает ответ.
Мы убираем эти проблемы через структурированные шаблоны, верификацию и A/B тесты.
Как снизить процент галлюцинаций в LLM?
Ключевой приём — chain-of-verification: модель сначала генерирует ответ, затем проверяет каждое утверждение на соответствие контексту. Мы добавляем системный промпт, который запрещает домысливать и вводит порог уверенности. Дополнительно используем few-shot примеры с граничными кейсами. В production это даёт снижение hallucination rate с 20% до 2–3%. Согласно рекомендациям OpenAI, структурированные промпты снижают количество галлюцинаций на 30–50%.
ANTI_HALLUCINATION_ADDENDUM = """ ВАЖНО: Отвечай только на основе предоставленного контекста. Если информации нет в контексте — скажи: "У меня нет данных по этому вопросу." Не домысливай и не делай предположений. Если уверен < 80% — укажи степень неопределённости. """ async def answer_with_verification(question: str, context: str) -> dict: answer = query_llm( f"Контекст:\n{context}\n\nВопрос: {question}", system=f"Ты — аналитик. {ANTI_HALLUCINATION_ADDENDUM}", ) verification = query_llm( f"Исходный ответ: {answer}\n\nВопрос: Все ли утверждения в ответе подтверждены контекстом? Ответь JSON: {{\"verified\": bool, \"unsupported_claims\": [...]}}", temperature=0, ) return {"answer": answer, "verification": json.loads(verification)} Как мы проектируем промышленные промпты
Процесс начинается не с кода, а с анализа ожиданий: что должен делать промпт, какие граничные случаи, как измерять качество. Собираем 100–200 репрезентативных запросов, размечаем идеальный ответ. Только потом пишем первый baseline.
Ролевая модель и контекст
Системный промпт строится по схеме: «Ты — [роль]. Задача — [цель]. Контекст — [условия, данные]. Правила — [что можно, что нельзя]. Формат вывода — [явный формат]». Для RAG добавляем указатель на источник. Пример:
SYSTEM_PROMPT = """Ты — {role}. Задача: {task_description} Правила: {rules} Формат ответа: {output_format}""" A/B тестирование и метрики
Каждый вариант промпта проверяем на eval-сете с помощью LLM-as-judge. Сравниваем по точности, полноте, стилю. Пример класса для тестов:
class PromptABTest: def __init__(self, variants: dict[str, str]): self.variants = variants self.results = {name: [] for name in variants} def run_test(self, test_inputs: list[str], judge_prompt: str) -> dict: for input_text in test_inputs: outputs = {} for name, prompt in self.variants.items(): output = query_llm(input_text, system=prompt) outputs[name] = output comparison = query_llm( f"""Сравни два ответа на запрос: "{input_text}" Вариант A: {outputs[list(outputs.keys())[0]]} Вариант B: {outputs[list(outputs.keys())[1]]} {judge_prompt} Верни JSON: {{\"winner\": \"A\"|\"B\"|\"tie\", \"reason\": \"...\"}}""", temperature=0, ) result = json.loads(comparison) winner = result["winner"] if winner != "tie": winning_name = list(self.variants.keys())[0 if winner == "A" else 1] self.results[winning_name].append(1) return {name: sum(wins) / len(test_inputs) for name, wins in self.results.items()} Пошаговая инструкция по калибровке промпта
- Определите цель и метрики: точность, полнота, latency, hallucination rate.
- Соберите eval-сет: 100–200 реальных запросов с эталонными ответами.
- Создайте baseline: простой промпт с ролевой моделью и базовыми правилами.
- Итеративно улучшайте: для каждой проблемы добавляйте инструкции, few-shot примеры, проверки.
- A/B тестирование: сравните variant vs control на теневым трафике, выберите лучший.
Сравнение техник prompt engineering
| Техника | Применение | Эффект |
|---|---|---|
| Few-Shot | Добавление 3–5 примеров в промпт | Улучшение точности на 15–25% |
| Chain-of-Thought | Пошаговое рассуждение | Повышение качества сложных задач на 30% |
| Self-Consistency | Множественные генерации + голосование | Снижение variance, рост надежности |
| Chain-of-Verification | Проверка фактов после ответа | Снижение hallucination rate в 5–10 раз |
Что входит в работу
После калибровки вы получаете:
- Шаблоны промптов в формате JSON/YAML с комментариями.
- Eval-сет из 200+ примеров с эталонными ответами.
- Отчёт с метриками: точность, recall, hallucination rate, latency p99.
- A/B тестирование на теневым трафике (опционально).
- Обучение команды: 2–4 часа воркшопа по поддержке и доработке промптов.
- Гарантию стабильности: если после внедрения качество падает, мы бесплатно корректируем промпт в течение месяца.
Сравнение подходов: One-shot vs Iterative
| Характеристика | One-shot (ручной) | Iterative (с eval) | С A/B тестированием |
|---|---|---|---|
| Время до production | 1 день | 3–5 дней | 5–10 дней |
| Точность на тестовом сете | 30–50% | 60–80% | 90–95% |
| Latency стабильность | Низкая (p99 растёт) | Средняя | Высокая (p99 фикс) |
| Риск галлюцинаций | Высокий (>15%) | Средний (5–10%) | Низкий (<3%) |
Iterative подход с метриками в 2–3 раза эффективнее одноразового написания — это подтверждено на 50+ проектах.
Сроки и результаты
- Базовый промпт для конкретного use case: 1–3 дня.
- A/B тестирование с eval-сетом: 3–5 дней.
- Production-промпт с верификацией и документацией: 7–10 рабочих дней.
Стоимость рассчитывается индивидуально — зависит от сложности задачи и количества промптов. Типичный проект обходится от $1500 до $4000. Экономия на исправлении галлюцинаций может достигать $10 000 в месяц. Оценка занимает 1 день: вы описываете юзкейс, мы анализируем и предлагаем план.
Хотите стабильную работу LLM? Свяжитесь с нами, чтобы мы проанализировали ваш текущий промпт и предложили улучшения за 1 день. Закажите аудит промпта — получите детальный отчёт с метриками и рекомендациями. Получите консультацию по вашему промпту уже сегодня.