Yandex for Analytics

🧑‍💻 Как мы прокачали контроль качества поддержки с помощью LLM

Меня зовут Дарья Шатько, я руководитель ML-группы в Yandex Crowd. Сегодня я расскажу, как мы с моим коллегой Антоном Удаловым внедряли большие языковые модели в контроль качества клиентской поддержки.

Нашей задачей было автоматизировать проверку 4,5 миллиона диалогов поддержки в месяц. Ручной контроль покрывал лишь 3% из них. При такой выборке редкие, но критические ошибки могли попадаться всего пару раз за несколько месяцев. И системно работать над ними было невозможно.

🈂 Что мы пробовали до внедрения AI

Мы начинали с использования регулярных выражений. Они помогали нам отлавливать по-настоящему грубые ошибки, но всё, что сложнее стоп-слов и категорий, становилось для них непосильной задачей.

На следующем этапе мы протестировали иерархические модели и классификаторы на основе архитектуры BERT. Однако ключевым ограничением стало недостаточное количество данных для редких классов ошибок. Это не позволило нам достичь на тестах значения macro-F1 выше 65%.

🈂 Какие сложности нас поджидали в начале работы с LLM

Мы собрали один комплексный промпт, который включал полный текст диалога и список из 20 критериев оценки модели. А для повышения точности мы дополнили его few-shot-примерами. Но… упёрлись в лимит контекста, а система породила волну ложных срабатываний.

В итоге LLM потеряла способность к обобщению и начала классифицировать только те ошибки, которые точно соответствовали предоставленным шаблонам.

🈂 Что нам помогло сделать всё правильно

🔵 Golden-датасет с ручной проверкой и трёхбалльной оценкой работы модели

🔵 Отказ от монструозного промпта в пользу многоступенчатого LLM-flow

🔵 Версионирование промптов и превращение обычного текста в тестируемый артефакт

🔵 LLM-as-a-judge для ускорения оценки гипотез с порогом уверенности 85%

Сейчас наш пайплайн закрывает ≈50% проверок в почтовом и чатовом каналах клиентской поддержки, а у руководителей появилось больше информации, где и у каких операторов возникают трудности. Это позволяет дорабатывать обучения и инструкции по работе с продуктами.

⏬ А полную статью с архитектурой, промптами и выводами читайте на Хабре: habr.com/ru/companies/yandex/articles/951568/

Подписывайтесь на нас в Telegram: t.me/+k4YAu0XQSNpjMjky

1 month ago | [YT] | 3