Yandex for Analytics

πŸ§‘β€πŸ’» Как ΠΌΡ‹ ΠΏΡ€ΠΎΠΊΠ°Ρ‡Π°Π»ΠΈ ΠΊΠΎΠ½Ρ‚Ρ€ΠΎΠ»ΡŒ качСства ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΊΠΈ с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ LLM

МСня Π·ΠΎΠ²ΡƒΡ‚ Π”Π°Ρ€ΡŒΡ Π¨Π°Ρ‚ΡŒΠΊΠΎ, я Ρ€ΡƒΠΊΠΎΠ²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒ ML-Π³Ρ€ΡƒΠΏΠΏΡ‹ Π² Yandex Crowd. БСгодня я расскаТу, ΠΊΠ°ΠΊ ΠΌΡ‹ с ΠΌΠΎΠΈΠΌ ΠΊΠΎΠ»Π»Π΅Π³ΠΎΠΉ Антоном Π£Π΄Π°Π»ΠΎΠ²Ρ‹ΠΌ внСдряли большиС языковыС ΠΌΠΎΠ΄Π΅Π»ΠΈ Π² ΠΊΠΎΠ½Ρ‚Ρ€ΠΎΠ»ΡŒ качСства клиСнтской ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΊΠΈ.

НашСй Π·Π°Π΄Π°Ρ‡Π΅ΠΉ Π±Ρ‹Π»ΠΎ Π°Π²Ρ‚ΠΎΠΌΠ°Ρ‚ΠΈΠ·ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΡƒ 4,5 ΠΌΠΈΠ»Π»ΠΈΠΎΠ½Π° Π΄ΠΈΠ°Π»ΠΎΠ³ΠΎΠ² ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΊΠΈ Π² мСсяц. Π ΡƒΡ‡Π½ΠΎΠΉ ΠΊΠΎΠ½Ρ‚Ρ€ΠΎΠ»ΡŒ ΠΏΠΎΠΊΡ€Ρ‹Π²Π°Π» лишь 3% ΠΈΠ· Π½ΠΈΡ…. ΠŸΡ€ΠΈ Ρ‚Π°ΠΊΠΎΠΉ Π²Ρ‹Π±ΠΎΡ€ΠΊΠ΅ Ρ€Π΅Π΄ΠΊΠΈΠ΅, Π½ΠΎ критичСскиС ошибки ΠΌΠΎΠ³Π»ΠΈ ΠΏΠΎΠΏΠ°Π΄Π°Ρ‚ΡŒΡΡ всСго ΠΏΠ°Ρ€Ρƒ Ρ€Π°Π· Π·Π° нСсколько мСсяцСв. И систСмно Ρ€Π°Π±ΠΎΡ‚Π°Ρ‚ΡŒ Π½Π°Π΄ Π½ΠΈΠΌΠΈ Π±Ρ‹Π»ΠΎ Π½Π΅Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎ.

πŸˆ‚ Π§Ρ‚ΠΎ ΠΌΡ‹ ΠΏΡ€ΠΎΠ±ΠΎΠ²Π°Π»ΠΈ Π΄ΠΎ внСдрСния AI

ΠœΡ‹ Π½Π°Ρ‡ΠΈΠ½Π°Π»ΠΈ с использования рСгулярных Π²Ρ‹Ρ€Π°ΠΆΠ΅Π½ΠΈΠΉ. Они ΠΏΠΎΠΌΠΎΠ³Π°Π»ΠΈ Π½Π°ΠΌ ΠΎΡ‚Π»Π°Π²Π»ΠΈΠ²Π°Ρ‚ΡŒ ΠΏΠΎ-настоящСму Π³Ρ€ΡƒΠ±Ρ‹Π΅ ошибки, Π½ΠΎ всё, Ρ‡Ρ‚ΠΎ слоТнСС стоп-слов ΠΈ ΠΊΠ°Ρ‚Π΅Π³ΠΎΡ€ΠΈΠΉ, ΡΡ‚Π°Π½ΠΎΠ²ΠΈΠ»ΠΎΡΡŒ для Π½ΠΈΡ… нСпосильной Π·Π°Π΄Π°Ρ‡Π΅ΠΉ.

На ΡΠ»Π΅Π΄ΡƒΡŽΡ‰Π΅ΠΌ этапС ΠΌΡ‹ протСстировали иСрархичСскиС ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΈ классификаторы Π½Π° основС Π°Ρ€Ρ…ΠΈΡ‚Π΅ΠΊΡ‚ΡƒΡ€Ρ‹ BERT. Однако ΠΊΠ»ΡŽΡ‡Π΅Π²Ρ‹ΠΌ ΠΎΠ³Ρ€Π°Π½ΠΈΡ‡Π΅Π½ΠΈΠ΅ΠΌ стало нСдостаточноС количСство Π΄Π°Π½Π½Ρ‹Ρ… для Ρ€Π΅Π΄ΠΊΠΈΡ… классов ошибок. Π­Ρ‚ΠΎ Π½Π΅ ΠΏΠΎΠ·Π²ΠΎΠ»ΠΈΠ»ΠΎ Π½Π°ΠΌ Π΄ΠΎΡΡ‚ΠΈΡ‡ΡŒ Π½Π° тСстах значСния macro-F1 Π²Ρ‹ΡˆΠ΅ 65%.

πŸˆ‚ КакиС слоТности нас ΠΏΠΎΠ΄ΠΆΠΈΠ΄Π°Π»ΠΈ Π² Π½Π°Ρ‡Π°Π»Π΅ Ρ€Π°Π±ΠΎΡ‚Ρ‹ с LLM

ΠœΡ‹ собрали ΠΎΠ΄ΠΈΠ½ комплСксный ΠΏΡ€ΠΎΠΌΠΏΡ‚, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ Π²ΠΊΠ»ΡŽΡ‡Π°Π» ΠΏΠΎΠ»Π½Ρ‹ΠΉ тСкст Π΄ΠΈΠ°Π»ΠΎΠ³Π° ΠΈ список ΠΈΠ· 20 ΠΊΡ€ΠΈΡ‚Π΅Ρ€ΠΈΠ΅Π² ΠΎΡ†Π΅Π½ΠΊΠΈ ΠΌΠΎΠ΄Π΅Π»ΠΈ. А для ΠΏΠΎΠ²Ρ‹ΡˆΠ΅Π½ΠΈΡ точности ΠΌΡ‹ Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΠ»ΠΈ Π΅Π³ΠΎ few-shot-ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π°ΠΌΠΈ. Но… ΡƒΠΏΡ‘Ρ€Π»ΠΈΡΡŒ Π² Π»ΠΈΠΌΠΈΡ‚ контСкста, Π° систСма ΠΏΠΎΡ€ΠΎΠ΄ΠΈΠ»Π° Π²ΠΎΠ»Π½Ρƒ Π»ΠΎΠΆΠ½Ρ‹Ρ… срабатываний.

Π’ ΠΈΡ‚ΠΎΠ³Π΅ LLM потСряла ΡΠΏΠΎΡΠΎΠ±Π½ΠΎΡΡ‚ΡŒ ΠΊ ΠΎΠ±ΠΎΠ±Ρ‰Π΅Π½ΠΈΡŽ ΠΈ Π½Π°Ρ‡Π°Π»Π° ΠΊΠ»Π°ΡΡΠΈΡ„ΠΈΡ†ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ Ρ‚Π΅ ошибки, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Ρ‚ΠΎΡ‡Π½ΠΎ соотвСтствовали прСдоставлСнным шаблонам.

πŸˆ‚ Π§Ρ‚ΠΎ Π½Π°ΠΌ ΠΏΠΎΠΌΠΎΠ³Π»ΠΎ ΡΠ΄Π΅Π»Π°Ρ‚ΡŒ всё ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½ΠΎ

πŸ”΅ Golden-датасСт с Ρ€ΡƒΡ‡Π½ΠΎΠΉ ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΠΎΠΉ ΠΈ Ρ‚Ρ€Ρ‘Ρ…Π±Π°Π»Π»ΡŒΠ½ΠΎΠΉ ΠΎΡ†Π΅Π½ΠΊΠΎΠΉ Ρ€Π°Π±ΠΎΡ‚Ρ‹ ΠΌΠΎΠ΄Π΅Π»ΠΈ

πŸ”΅ ΠžΡ‚ΠΊΠ°Π· ΠΎΡ‚ монструозного ΠΏΡ€ΠΎΠΌΠΏΡ‚Π° Π² ΠΏΠΎΠ»ΡŒΠ·Ρƒ многоступСнчатого LLM-flow

πŸ”΅ ВСрсионированиС ΠΏΡ€ΠΎΠΌΠΏΡ‚ΠΎΠ² ΠΈ ΠΏΡ€Π΅Π²Ρ€Π°Ρ‰Π΅Π½ΠΈΠ΅ ΠΎΠ±Ρ‹Ρ‡Π½ΠΎΠ³ΠΎ тСкста Π² тСстируСмый Π°Ρ€Ρ‚Π΅Ρ„Π°ΠΊΡ‚

πŸ”΅ LLM-as-a-judge для ускорСния ΠΎΡ†Π΅Π½ΠΊΠΈ Π³ΠΈΠΏΠΎΡ‚Π΅Π· с ΠΏΠΎΡ€ΠΎΠ³ΠΎΠΌ увСрСнности 85%

БСйчас наш ΠΏΠ°ΠΉΠΏΠ»Π°ΠΉΠ½ Π·Π°ΠΊΡ€Ρ‹Π²Π°Π΅Ρ‚ β‰ˆ50% ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΎΠΊ Π² ΠΏΠΎΡ‡Ρ‚ΠΎΠ²ΠΎΠΌ ΠΈ Ρ‡Π°Ρ‚ΠΎΠ²ΠΎΠΌ ΠΊΠ°Π½Π°Π»Π°Ρ… клиСнтской ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΊΠΈ, Π° Ρƒ Ρ€ΡƒΠΊΠΎΠ²ΠΎΠ΄ΠΈΡ‚Π΅Π»Π΅ΠΉ появилось большС ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΈ, Π³Π΄Π΅ ΠΈ Ρƒ ΠΊΠ°ΠΊΠΈΡ… ΠΎΠΏΠ΅Ρ€Π°Ρ‚ΠΎΡ€ΠΎΠ² Π²ΠΎΠ·Π½ΠΈΠΊΠ°ΡŽΡ‚ трудности. Π­Ρ‚ΠΎ позволяСт Π΄ΠΎΡ€Π°Π±Π°Ρ‚Ρ‹Π²Π°Ρ‚ΡŒ обучСния ΠΈ инструкции ΠΏΠΎ Ρ€Π°Π±ΠΎΡ‚Π΅ с ΠΏΡ€ΠΎΠ΄ΡƒΠΊΡ‚Π°ΠΌΠΈ.

⏬ А ΠΏΠΎΠ»Π½ΡƒΡŽ ΡΡ‚Π°Ρ‚ΡŒΡŽ с Π°Ρ€Ρ…ΠΈΡ‚Π΅ΠΊΡ‚ΡƒΡ€ΠΎΠΉ, ΠΏΡ€ΠΎΠΌΠΏΡ‚Π°ΠΌΠΈ ΠΈ Π²Ρ‹Π²ΠΎΠ΄Π°ΠΌΠΈ Ρ‡ΠΈΡ‚Π°ΠΉΡ‚Π΅ Π½Π° Π₯Π°Π±Ρ€Π΅: habr.com/ru/companies/yandex/articles/951568/

ΠŸΠΎΠ΄ΠΏΠΈΡΡ‹Π²Π°ΠΉΡ‚Π΅ΡΡŒ Π½Π° нас Π² Telegram: t.me/+k4YAu0XQSNpjMjky

1 month ago | [YT] | 3