Аспектный анализ тональности отзывов (ABSA) с помощью LLM

Аспектный анализ тональности: что скрывает средний балл

Средний балл 4,2 выглядит здоровым ровно до момента, когда смотришь на распределение. Внутри одной оценки живут противоположные сигналы: курьер приехал вовремя, а комплектующие пришлось менять дважды. Клиент ставит четыре звезды, команда читает «в целом нормально» и не трогает ни логистику, ни сборку — именно поэтому средний рейтинг искажает картину, а решения по нему принимаются наугад.

Аспектный анализ тональности снимает это ограничение на уровне модели: каждый отзыв раскладывается на смысловые темы — качество, цена, поддержка, удобство, доставка — и по каждой считается отдельная полярность. Один и тот же текст может быть восторженным про сервис и резко негативным про упаковку, и это больше не усредняется в одно число.

Узкое место ручной вычитки отзывов в том, что она не масштабируется. Аналитик честно размечает несколько сотен текстов, а дальше начинается выбор: либо терять глубину и считать по звёздочкам, либо тонуть в объёме. Обратная связь по продукту приходит с задержкой в недели — к моменту отчёта повод уже разошёлся по отзывам и обзорам, а исправлять приходится по остывшим следам.

Разбор отзывов по аспектам меняет сам ритм работы: свежая порция обратной связи размечается за часы, а не за недели ручной вычитки. Продукт получает сигнал по конкретной теме — «сборка», «оплата», «гарантия» — вместо общего балла по всему сразу. Дальше разбираем, как это устроено на практике: от подготовки данных до регулярного отчёта, на который можно опереться.

Что меняется после внедрения: эффект в метриках

Эффект от разбора отзывов измерим в пяти величинах: доля размеченного корпуса, срок реакции на негатив по конкретному аспекту, снятая ручная нагрузка, полнота выявления редких аспектов и динамика метрик качества продукта.

Скорость обработки потока отзывов

Раньше поток разбирался выборочно: аналитик успевал пройти часть корпуса, остальное ждало в очереди. Аспектный анализ тональности на моделях класса GPT разбирает объём целиком, поэтому жалоба на «доставку», «интерфейс» или «поддержку» попадает в отчёт в тот же день, а не после ручной выборки.

• Доля размеченных отзывов — до 100%: короткие и неоднозначные тексты больше не выпадают из выборки.
• Срок реакции на негатив по аспекту — с недель до суток: падение оценки видно в динамике, а не постфактум.
• Ручная разметка снимается: аналитик проверяет расхождения модели, а не размечает корпус с нуля.

Что перестаёт теряться при ручной разметке

Человек тянется к частым и явным темам: редкие аспекты и смешанные отзывы, где одна фраза хвалит и ругает одновременно, выпадают из разметки. Аспекты с падающей оценкой месяцами живут в пределах погрешности и всплывают, когда метрики качества продукта уже просели.

• Редкие и косвенно сформулированные аспекты фиксируются наравне с массовыми — класс пропусков уходит.
• У каждого аспекта появляется история: видно, в какой момент оценка пошла вниз, а не только итоговое падение.

Подходы к разбору отзывов: сравнение режимов работы

Сравнение подходов к разбору отзывов сводится к трём режимам, и выбор между ними определяется не модой, а стабильностью лексики в предметной области и объёмом размеченных примеров. Все три выдают аспектную тональность вида «доставка быстрая, упаковка мятая», но по-разному держат сленг, опечатки и отзывы со смешанной оценкой.

Когда хватает правил и словарей

Словарный метод — это списки терминов, усилителей и правил обработки отрицаний. Он объясним: видно, какое правило дало метку, разметка не нужна вовсе, а нагрузка предсказуема. Этого хватает, когда отзывы однотипны, аспектов десяток и лексика меняется медленно.

Где нужны большие языковые модели

Модель читает отзыв целиком: сама выделяет аспекты, которых не было в списке, привязывает оценку к нужному упоминанию и переносит логику на новый язык без отдельной разметки. Вместо тысяч размеченных примеров достаточно десятка эталонных плюс жёсткая схема ответа, а расхождения ловятся сверкой на контрольной выборке. Плата за гибкость — нестабильность формулировок и обязательная проверка разбора.

На практике режимы комбинируют: словари и классификатор закрывают массовые однотипные случаи, модель — редкие аспекты и свободный текст.

Как мы внедряем: этапы от аудита данных до передачи

Внедрение разбора отзывов начинается не с настройки модели, а с данных: без аудита корпуса автоматические метрики выглядят убедительно, но расходятся с реальностью. Ниже — последовательность, по которой мы ведём проект до передачи и обучения вашей команды.

Аудит данных и схема аспектов

1. Аудит корпуса отзывов. Считаем объём и языки, долю дублей с разных площадок, отделяем шум — эмодзи, транслит, обрывки форм. Итог — карта данных: что разбирается автоматически, а что чистим на входе.

2. Схема аспектов и подтем. Строим дерево: аспект верхнего уровня (доставка, качество товара, поддержка) и подтемы внутри. Схему согласуем с вами, чтобы каждая ветка отвечала на управленческий вопрос.

3. Настройка извлечения. Модель актуальной ветки получает схему, словари синонимов и примеры пограничных формулировок. Правило для отзывов без явной оценки фиксируем отдельно: «не упомянуто» не равно «нейтрально».

4. Проверка качества разметки. На слепой выборке сверяем ответы модели с разметкой людей в Label Studio и считаем расхождения по аспектам и классам тональности. Правила уточняем до устойчивого согласия — иначе автоматизация ломается на первом релизе.

Выкатка и проверка на живом потоке

• Схема обработки потока отзывов. Подключаем источники и очередь: новые отзывы разбираются инкрементально, с сохранением исходного текста и версии схемы — это даёт воспроизводимость при пересмотрах.

• Калибровка порогов. На живом потоке подбираем границу уверенности и уводим спорные случаи на ручную доработку. Доля автоматически разобранных отзывов растёт, а ошибок на редких аспектах становится меньше.

• Передача и обучение команды. Отдаём конфигурации, документацию по схеме аспектов и регламент дообучения, проводим обучение — правки вы вносите своими силами.

Что заказчик получает на руки: конфигурации и регламенты

Вместе с работающей системой передаём артефакты, по которым её можно развивать без нас: описание аспектов, схемы взаимодействия с источниками отзывов, правила обращения с данными и процедуры проверки качества. У каждого документа есть назначение — добавить категорию, подключить новый канал или разобрать расхождение в оценках.

Документация и схемы

• Карта аспектов: онтология категорий с границами, примерами пограничных отзывов и правилами трактовки смешанной тональности.
• Схемы интеграции: откуда приходят отзывы, как устроены повторный приём, дедупликация и выгрузка результатов в учётные системы.
• Документация по разбору отзывов: что означает уверенность по аспекту, где нейтральность, а где нехватка данных.
• Политики доступа к данным: роли, обезличивание до попадания в хранилище, журнал обращений, сроки хранения.
• Конфигурации: словари, правила постобработки и пороги уверенности вынесены в отдельные файлы, а не в код.

Регламенты эксплуатации

• Контроль качества разметки: ручная проверка выборки, замер согласия разметчиков, действия при падении точности ниже порога.
• Инструкция по новым категориям: описание аспекта, набор примеров, прогон по историческим отзывам, сверка с текущей версией, откат при ухудшении.
• Версионирование онтологии: у каждого изменения своя версия, старые результаты остаются воспроизводимыми.

Кейс: как убрали слепую зону в отзывах о доставке

Клиент — сервис доставки готовой еды Ложка: несколько десятков тысяч отзывов в месяц из приложения, агрегаторов и соцсетей. До внедрения любой отзыв сводился к одной оценке — курьер, упаковка, температура блюда и состав заказа смешивались в общий балл. Провал по отдельному аспекту, например разъезжающаяся упаковка, растворялся в средней тройке и до ответственного не доходил.

Что было до и что стало после

До разбор шёл вручную: вычитывали около десятой части потока, остальное не анализировалось, а на реакцию по негативу уходило до двух суток. После модель размечает каждый отзыв по пяти аспектам — курьер, упаковка, температура, состав заказа, приложение — и отдельно оценивает тональность каждого. Доля разобранных отзывов выросла с 12% до 96%.

Провал по отдельному аспекту теперь виден на следующий день: по упаковке доля негатива за неделю выросла в четыре раза, хотя средняя оценка заказа просела всего на 0,2 балла и в общей картине это не читалось. Пороговое правило по аспекту отправляет уведомление ответственному, время реакции на негатив сократилось с двух суток до трёх-четырёх часов.

Спорные разметки — около 5% — уходят на ручную проверку, поэтому по аспекту видно не «настроение», а конкретную причину: у части ресторанов сменили упаковку, и доля негатива по этому аспекту вернулась к прежнему уровню за три недели.

Как считать тональность, если отзывы на нескольких языках?

Считаем не тональность отзыва целиком, а тональность по каждому аспекту — доставка, качество товара, работа поддержки. На многоязычных отзывах это принципиально: аспекты в разных языках описываются разными словами, а смешанный отзыв не сводится к одной метке.

Схема разбора сводится к трём вариантам, и у каждого своя цена по устойчивости и сопровождению.

На практике ставим маршрутизацию: определение языка на входе, единая модель как основа, отдельные контуры — на языки с большой долей и слабым качеством базовой модели. Смешанные отзывы разбираем посегментно: режем текст по предложениям и отправляем каждый фрагмент в свой контур.

Контроль — на размеченной выборке по каждому языку: доля найденных аспектов и доля верно определённой полярности. Видно, какой язык тянет общую метрику вниз и требует отдельного контура.

Технические сомнения: точность, разметка, дообучение

Инженерные возражения к аспектному анализу тональности сводятся к одному: где гарантия, что модель не выдумает аспект и не развалится на новых категориях. Четыре сомнения ниже разбираем до старта — от ответов зависит схема разметки и порядок выката.

Что делать без исторической разметки?

Холодный старт закрываем слабой разметкой: правила и словари по категориям дают черновые метки, которые правим выборочно. Первые недели модель только предлагает аспекты, решение остаётся за человеком, и его правки становятся обучающим набором.

Как ловится дрейф качества на новых категориях?

Раз в неделю случайная выборка идёт на ручную проверку. Отдельно считаем долю аспектов, которых нет в справочнике, — так устроен контроль выдуманных аспектов. Растёт доля — появился новый тип жалоб, расширяем справочник и промпт.

Что с короткими отзывами и опечатками?

Основная масса ошибок — короткие отзывы и тексты с опечатками: в трёх словах аспект часто не выражен явно. Точность на них считаем отдельно, и если она ниже общей, понижаем уверенность модели и отправляем отзыв на проверку человеком, а не угадываем.

Обсудим задачу: пришлём оценку и план работ

Чтобы вернуться с оценкой и планом работ, нужен минимум входных данных: выгрузка отзывов как есть — с опечатками, эмодзи, смешением языков и повторами; перечень аспектов, которые важно разделять («доставка», «качество сборки», «работа поддержки»); ограничения по контуру данных — считаем на вашем железе или допускается обращение к внешней модели. Если словаря аспектов нет, соберём его из корпуса и согласуем с вами на размеченной выборке.

В ответ пришлём состав работ по этапам с оценкой сроков и точками приёмки. Отдельно покажем схему обработки: где модель выделяет аспекты и тональность, сколько ручной разметки нужно для контроля качества и как считается совпадение с разметкой эксперта.

• Схему обработки: приём отзывов, очистка, выделение аспектов, тональность, агрегация по товарам и каналам.
• Состав работ по этапам, зависимости между ними и точки приёмки.
• Согласованный словарь аспектов и правила разбора спорных формулировок.
• Требования к контуру данных: где хранятся тексты, у кого доступ, что логируется.
• Метрики качества: доля верно выделенных аспектов и точность тональности на контрольной выборке.
• План вывода в работу: разовый прогон по архиву, затем регулярное обновление.
• Перечень рисков: чего модель не увидит на текущем объёме данных.

Опишите задачу разбора отзывов — пришлите примеры и укажите ограничения по контуру. Вернёмся с оценкой, планом и составом работ; старт проекта возможен сразу после их согласования.