Практика применения LLM в чат-ботах

Существенное развитие получили боты в связи с применением больших языковых моделей (Large Language Model, LLM). Как было отмечено ранее, есть класс чат-ботов общего домена знаний, которые могут поговорить с пользователем на любую тематику общего характера. Этот вариант чат-ботов интересен с точки зрения привлечения новых пользователей и демонстрацией красивой игрушки. И это прекрасно работает на волне текущего хайпа вокруг LLM.

Если же говорить о конкретной задаче, которую требуется возложить на чат-бота, то как правило, любой диалог строится по какой-то согласованной схеме, когда клиента нужно последовательно провести через некоторый этап (путь) для сбора необходимых параметров и последующего предоставления сервиса (ответа). Компании, во-первых, строго согласовывают данный путь и используемые ботом фразы на каждом этапе и, с другой стороны, стремятся максимально эффективно решить возникшую у пользователя задачу. Т.е. становится очевидным, что должно использоваться rule-based ядро чат-бота, которое точно отслеживает текущее состояние (статус) пользователя и однозначно определяет, что делать дальше. Использование только LLM (пусть даже совместно с RAG) не позволяет реализовать данный, строго детерминированный функционал. Отсюда становится очевидным, что построение современного чат-бота для решения проблем и запросов заказчиков возможно только с применением синтеза традиционного механизма построения чат-ботов (которое было рассмотрено ранее) и точечного применения LLM.

Чат-боты 2.0: как большие языковые модели перевернули мир виртуального общения

Чат-бот ChatGPT, разработанный компанией OpenAI, по мнению издания Harvard Business Review стал настоящим прорывом в сфере искусственного интеллекта и значительно повлиял на развитие чат-ботов для бизнеса. Эта модель на основе машинного обучения способна генерировать «человекоподобный» текст, перевод, коды, составлять творческие тексты и многое другое. Появление ChatGPT вызвало настоящую революцию в области чат-ботов, сделав их более продвинутыми, эффективными и привлекательными для клиентов.

До появления LLM чат-боты зачастую ограничивались простыми сценариями и шаблонами. Они могли отвечать на заранее запрограммированные вопросы или выполнять простейшие задачи, такие как бронирование отеля или заказ такси. Взаимодействие с ними было жестким, искусственным и зачастую не удовлетворяло пользователей. LLM радикально изменили этот ландшафт.

Теперь чат-боты, оснащенные LLM, могут:

• 

предоставлять более информативные и релевантные ответы на сложные запросы:

 ChatGPT может обрабатывать большие объемы данных и генерировать реалистичные ответы, близкие к таким, которые дает человек;

• 

узнавать и учитывать предпочтения клиентов:

 ChatGPT может анализировать историю переписки и предлагать индивидуализированные решения;

• 

общаться в более естественном и привлекательном стиле:

ChatGPT позволяет чат-ботам имитировать человеческую речь, делая взаимодействие с клиентами более приятным;

• 

предлагать более креативные и интерактивные решения:

 ChatGPT может генерировать развлекательный контент – истории или стихи, делая общение с чат-ботами более интересным.

Использование LLM в чат-ботах является эффективным и ускоряет процесс разработки, так как декларирование всех правил и паттернов вручную занимает значительно больше времени и ресурсов. Однако для достижения высокого качества ответов и поведения бота требуются большие объемы данных для обучения. Чем больше разнообразных и качественных данных доступно для обучения модели, тем лучше будет ее производительность. Поэтому вкладывание усилий в создание и использование качественных датасетов для обучения LLM является важной составляющей в развитии современных технологий.

Уже сегодня многие компании используют модели LLM для бизнеса и улучшения своих чат-ботов. Например:

• 

Интернет-магазин Amazon

 использует ChatGPT для предоставления индивидуальных рекомендаций и ответов на вопросы клиентов;

• 

Автомобильный концерн Volkswagen

заявил о планах внедрить GPT в голосовые помощники, благодаря чему водители оперативно смогут получать информацию о пробках, погоде или просчитать предполагаемые временные затраты на передвижение из пункта А в пункт Б;

• 

Производитель обуви Ralf Ringer

посредством интеграции LLM автоматизировал обработку отзывов клиентов о товарах, ответы на вопросы, касаемые наличия и стоимости продукции.

В Табл. 2 представлено сравнение пяти наиболее популярных моделей LLM.

Табл. 2. Сравнительная характеристика 5 самых популярных моделей LLM.

.

Русские модели

На сегодняшний день в России представлены три коммерческие большие языковые модели: YandexGPT и GigaChat, являющиеся собственными моделями компаний Yandex и Sber соответственно, а также JustGPT от JustAI, основанная на дообученной открытой модели Llama2. По заявлениям производителей, эти нейросети демонстрируют хорошие результаты при работе с русским языком и эффективнее решают практические задачи для русскоязычной аудитории по сравнению с их мультиязычными аналогами.

Табл. 3. Сравнительная характеристика русских языковых моделей.