"Лучший чат-бот в мире" впитал 341 ГБ диалогов из соцсетей

Google запустила чат-бота Meena, назвав свою разработку лучшей среди подобных. В компании говорят, что их ИИ-система намного "человечнее", способна общаться на любые темы и даже умеет шутить

Компания Google запустила чат-бота Meena, назвав свою разработку лучшей среди подобных. По словам инженеров исследовательского подразделения поисковика, их ИИ-система намного "человечнее", способна общаться на любые темы и даже умеет шутить.

Meena тренировали на огромном массиве данных в 341 гигабайт — в основном на диалогах, взятых из социальных сетей. Для сравнения, модель GPT-2 от OpenAI обучалась на материалах объемом в 8,5 раза меньше, пишет Technology Review.

Многие разработчики, говорят в Google, прибегают к различным уловкам, чтобы скрыть факт непонимания сути разговора. Например, на фразу "мне нравится теннис" некоторые чат-боты ответят универсальной репликой "это хорошо", которая имеет смысл, но неконкретна. Более осмысленным стал бы ответ "мне тоже — не перестаю восхищаться Роджером Федерером".

Так умеет делать Meena: в отличие от аналогов, она не уходит от темы и запоминает, о чем с ней говорили. Новая программа, пояснили в Google, не только улавливает контекст — это умеют делать многие другие чат-боты, — но и оценивает, насколько очередное высказывание соотносится с тем, что было произнесено ранее.

Чтобы сравнить Meena с другими чат-ботами, в компании создали новую метрику оценки Sensibleness and Specificity Average (SSA). Meena набрала на этом тесте 79%, в то время как Mitsuku, которая четыре года кряду удостаивалась премии Лёбнера, получила 56%. Диалог с реальным человеком по SSA оценивается в 86%.

Правда, пообщаться с Meena пока нельзя. В Google говорят, что не выпустят чат-бота "на волю", пока не протестируют модель на безопасность и предвзятость.