Бесконечный диалог: Как StreamingLLM преобразовывает взаимодействие с чат-ботами

В мире искусственного интеллекта произошло важное открытие, которое может кардинально изменить то, как мы общаемся с чат-ботами, например, с такими, как ChatGPT. Ученые из Массачусетского технологического института (MIT) и их коллеги нашли решение для одной из главных головоломок в работе этих ботов: они научили их поддерживать беседу целый день без единого сбоя.

Часто, когда мы болтаем с чат-ботом, беседа может внезапно заходить в тупик из-за технических накладок. Это связано с тем, что чат-боты работают на основе огромных языковых моделей, которые иногда “заикаются”, когда разговор становится слишком долгим. Исследователи обнаружили, что проблема крылась в том, как модель обрабатывает информацию. Когда модель перегружена данными, она начинает забывать первые фрагменты информации, что и вызывает сбои.

Решение, предложенное учеными, удивительно просто: они изменили способ хранения данных в памяти модели, чтобы первые кусочки информации не терялись. Это похоже на то, как если бы вы читали книгу, не забывая, о чем была первая глава, даже если вы уже углубились в чтение. Благодаря этому нововведению, чат-боты могут поддерживать диалог дольше без потери качества общения.

Этот метод, названный StreamingLLM, позволяет чат-ботам обрабатывать информацию намного быстрее и эффективнее, чем раньше. Так, если ранее модель могла “замыкаться” и терять скорость при обработке большого количества информации, то теперь она может справляться с задачами в 22 раза быстрее.

Это открытие открывает новые возможности для использования чат-ботов в различных сферах, например, в копирайтинге, редактировании или даже при создании программного кода. Теперь, благодаря усовершенствованиям, чат-боты могут стать надежными помощниками, которые не подведут в самый ответственный момент.

Ученые также обнаружили интересную особенность в работе модели, названную “ямой внимания”. Это своего рода “сток” для излишков информации, которая не имеет прямого отношения к текущему контексту беседы. Оказалось, что сохранение этой “ямы” в памяти модели критически важно для поддержания ее работоспособности.

В будущем исследователи планируют дальнейшее улучшение моделей, чтобы они могли не только вести беспрерывные диалоги, но и запоминать информацию из предыдущих бесед, делая общение с ИИ еще более гладким и естественным.

Источник: Адам Зеве, “Новый способ позволяет чат-ботам на основе ИИ общаться весь день без сбоев”, Новости Массачусетского технологического института (MIT News), 13 февраля 2024 года.