banner

[ad_1]

Чтобы получить максимальную отдачу от больших языковых моделей (LLM), предприятия должны настроить их путем точной настройки с использованием данных, специфичных для предметной области. Это помогает отточить модель, чтобы она генерировала соответствующие результаты.

Однако точная настройка предварительно обученных моделей создает серьезную и потенциально опасную проблему: при совершенствовании моделей в распределениях, отличных от исходных наборов обучающих данных, их веса переориентируются на новые входные данные.

В дальнейшем модель в конечном итоге упускает информацию, которую она запомнила во время обучения — так называемое «катастрофическое забывание». Это ухудшает знания и навыки рассуждения LLM, а значит, и его производительность и удобство использования.

Компания-агент голосового искусственного интеллекта Tenyx сегодня объявляет о методе тонкой настройки, который поможет решить эту вопиющую проблему. Платформа помогает предприятиям адаптировать LLM к своим уникальным требованиям без ущерба для фундаментальных знаний или защитных мер.

«Катастрофическое забывание является давней проблемой в сообществе машинного обучения», — сказал VentureBeat Итамар Арел, генеральный директор и основатель Tenyx, в эксклюзивном интервью VentureBeat. «В течение многих лет предполагалось, что всегда можно продолжать обучение на новых данных, включая и старые».

Потеря критически важных возможностей, воздействие вредного и предвзятого контента

По словам Арел, точная настройка становится важнейшим инструментом в «арсенале методов, направленных на использование LLM» для корпоративных сценариев использования.

Однако специалисты по обработке данных, настраивающие LLM с помощью стандартных методов, обычно не имеют доступа к полному набору данных, на котором обучалась модель, а традиционные схемы не устраняют риски забывания эффектов. Это приводит к потере критически важных возможностей, а также потенциальному воздействию вредных комментариев (которые могут повлечь за собой юридическую ответственность).

Например, по словам Арел, LLaMA 7B может использоваться в качестве движка для чат-бота службы поддержки клиентов, например агента по бронированию отелей. Но поскольку он уже готов и не оптимизирован для этой конкретной области, специалистам по обработке данных необходимо настроить его на основе, скажем, набора типичных разговоров между людьми-агентами и клиентами, стремящимися забронировать номер в отеле. Вероятно, при этом будут использоваться традиционные методы тонкой настройки, такие как адаптация низкого ранга (LoRA).

Очень быстро как знания (например, ответы на вопрос «Каково расстояние от отеля до аэропорта?»), так и способности к рассуждению (например, правильные выводы о таких утверждениях, как «Я приеду 7 декабря на четыре ночи») могут Потерянный.

«Полученная точно настроенная модель может лучше реагировать на конкретные входные данные, но может внезапно давать неверные или потенциально предвзятые ответы относительно общих знаний и задач рассуждения», — сказал Арел.

В другом сценарии LLM обучается с использованием корпуса английских предложений, что позволяет ему рассуждать и отвечать на вопросы общего характера. Последующая точная настройка структурно и синтаксически различных наборов данных языка кодирования изменит то, как модель захватывает информацию, преобразует ее и выводит новую информацию.

«Такое изменение приведет к тому, что сеть потеряет способность создавать 100% связные высказывания на английском языке», — сказал Арел.

Ограничения LoRA

Метод точной настройки LoRA с эффективным использованием параметров получил широкое распространение из-за небольших требований к памяти и вычислениям.

Однако, как объяснил Арел, это никогда не предназначалось для смягчения катастрофического забывания. Когда веса обновляются в рамках обучения модели при распределении данных, которое не соответствует исходным данным обучения, возникающие искажения трудно предсказать.

«Наши результаты показывают, что, хотя LoRA эффективен в вычислительном отношении, он страдает теми же недостатками, когда дело доходит до потери памяти и рассуждений», — сказал Арел.

Сложность модели также затрудняет выявление и исправление искажений. Более того, точная настройка с помощью LoRA и других существующих методов может ослабить или полностью отменить меры безопасности, установленные посредством обучения с подкреплением на основе обратной связи с человеком (RLHF), что жизненно важно для предотвращения предвзятых и вредных результатов модели.

«Очень важно отметить, что RLHF также является процедурой обучения, — сказал Арел, — и, как таковая, во время точной настройки она затрагивается не меньше, чем знания и способности рассуждения».

Существующие процессы смягчения последствий непоследовательны и ненадежны.

Один из нынешних подходов к смягчению катастрофического забывания — это использование большого количества инженеров по машинному обучению (ML), которым поручено максимально ограничить точную настройку и полагаться на быстрое проектирование для достижения желаемой производительности.

Однако этот процесс ненадежен и непоследователен в разных моделях, и нет (по крайней мере, на сегодняшний день) понимания того, как, почему и когда он работает. Также выполняются оценочные наборы, которые количественно определяют знания, способность к рассуждению и безопасность точно настроенных моделей, в то время как точная настройка имеет целью «раннюю остановку» процесса в лучшие моменты времени.

«Эти решения являются дорогостоящими, требуют ручной работы инженеров по машинному обучению и отнимают много времени», — утверждает Арел. «Не существует известных способов автоматизировать этот трудоемкий процесс».

Tenyx демонстрирует значительный прогресс в области безопасности, квалификации и знаний.

По словам Арел, метод тонкой настройки Tenyx пытается определить подмножество параметров модели, которые можно обновить, чтобы происходило обучение на новых данных, и в то же время модель сохраняет почти все ранее изученные сопоставления ввода-вывода.

Затем платформа проецирует обновления, внесенные в нейроны во время тонкой настройки, в пространство, где они не будут мешать сбору информации при распределении предварительно обученных данных.

«Другими словами, анализируя обученный LLM, наш метод способен определить, как и какие из миллиардов весов можно обновить, чтобы при обучении на новых данных происходило минимальное или вообще не происходило катастрофического забывания», — сказал Арел.

Платформа Tenyx основана на новой математической интерпретации геометрических представлений, сформированных во время первоначального обучения LLM, пояснил он. Он фиксирует геометрию данных, представленных в трансформаторных сетях, которые питают современные LLM.

Эта геометрическая интерпретация позволяет Tenyx выбирать подмножество весов сети и ограничивать обновления выбранных нейронов «с сильными гарантиями того, что вся ранее полученная информация будет сохранена», — сказал Арел.

Этот метод сохраняет защиту RLHF и соответствует нормативным изменениям, в частности Указу Белого дома о безопасном, защищенном и заслуживающем доверия искусственном интеллекте.

В ходе пилотного исследования Tenyx продемонстрировал следующие возможности:

  • Безопасность: точная настройка Tenyx привела к снижению на 11% по сравнению с -66% у OpenAI, -94% у Together AI и -91% у LoRA.
  • Мастерство: GPT 3.5 Turbo от OpenAI изначально был более профессиональным, поскольку модель имела больше параметров, Llama-2 7B от Tenyx была наиболее эффективной после тонкой настройки.
  • Знания: Tenyx смягчил катастрофическую забывчивость больше всего, потеряв 3%, по сравнению с 10% у OpenAI, 40% у Together AI и 43% у LoRA.

«Катастрофическое забывание — это хорошо известная проблема в глубоком обучении, которая до сих пор затрагивает даже большие и работоспособные модели», — сказал Ной Гудман, доцент Стэнфордского университета. «При обучении на данных из новой области модели обычно работают лучше в этой области, при этом непреднамеренно изменяя предыдущие возможности».

Он добавил: «В Tenyx есть сильная исследовательская группа, которая изучает новые важные идеи для решения этой сложной задачи».

[ad_2]

Источник

banner

Вам может понравиться

Обзор сервисов ИИ

Искусственный интеллект

Daily AI

ИИ в жизни, бизнесе, науке и искусстве.

@2024 All Right Reserved. Designed and Developed by PenciDesign