[ad_1]
Nvidia, Hugging Face и ServiceNow поднимают планку в области искусственного интеллекта для генерации кода с помощью StarCoder2, нового семейства моделей больших языков (LLM) с открытым доступом.
Доступные сегодня в трех различных размерах, модели были обучены более чем на 600 языках программирования, включая языки программирования с низким уровнем ресурсов, чтобы помочь предприятиям ускорить выполнение различных задач, связанных с кодом, в рабочих процессах разработки. Они были разработаны в рамках открытого проекта BigCode — совместной работы ServiceNow и Hugging Face, направленной на обеспечение ответственной разработки и использования больших языковых моделей для кода. Они предоставляются бесплатно по лицензиям Open Responsible AI License (OpenRAIL).
«StarCoder2 является свидетельством сочетания открытого научного сотрудничества и ответственных методов искусственного интеллекта с этической цепочкой поставок данных. Современная модель открытого доступа улучшает производительность предшествующего генеративного ИИ, повышая производительность разработчиков и предоставляет разработчикам равный доступ к преимуществам генерации кода ИИ, что, в свою очередь, позволяет организациям любого размера более легко справляться со своими задачами в полной мере. потенциал», — заявил в своем заявлении Харм де Врис, руководитель группы разработчиков StarCoder2 компании ServiceNow и соруководитель BigCode.
StarCoder2: три модели для трех разных нужд
В то время как первоначальный StarCoder LLM от BigCode дебютировал с размером 15B параметров и был обучен примерно на 80 языках программирования, последнее поколение шагнуло вперед с моделями трех разных размеров — 3B, 7B и 15B — и обучением на 619 языках программирования. По данным BigCode, данные обучения для новых моделей, известных как The Stack, оказались более чем в семь раз больше, чем те, которые использовались в прошлый раз.
Что еще более важно, сообщество BigCode использовало новые методы обучения последнего поколения, чтобы гарантировать, что модели могут понимать и генерировать языки программирования с низким уровнем ресурсов, такие как COBOL, математику и обсуждения исходного кода программ.
Самая маленькая модель с 3 миллиардами параметров была обучена с использованием платформы Fast LLM ServiceNow, а модель 7B была разработана с использованием нанотронной структуры Hugging Face. Оба нацелены на обеспечение высокопроизводительной генерации текста в код и текста в рабочий процесс, требуя при этом меньше вычислительных ресурсов.
Тем временем крупнейшая модель с 15 миллиардами параметров была обучена и оптимизирована с помощью комплексной облачной платформы Nvidia NeMo и программного обеспечения Nvidia TensorRT-LLM.
Хотя еще неизвестно, насколько хорошо эти модели работают в различных сценариях кодирования, компании отметили, что производительность самой маленькой модели 3B соответствует производительности оригинальной модели 15B StarCoder LLM.
В зависимости от своих потребностей корпоративные команды могут использовать любую из этих моделей и дополнительно настраивать их на основе своих организационных данных для различных вариантов использования. Это может быть что угодно: от специализированных задач, таких как генерация исходного кода приложения, генерация рабочего процесса и обобщение текста, до завершения кода, расширенного суммирования кода и извлечения фрагментов кода.
Компании подчеркнули, что модели, благодаря более широкому и глубокому обучению, обеспечивают контекст хранилища, позволяя делать точные и контекстно-зависимые прогнозы. В конечном итоге все это открывает путь к ускорению разработки, экономя при этом время инженеров и разработчиков, чтобы сосредоточиться на более важных задачах.
«Поскольку каждая экосистема программного обеспечения имеет свой собственный язык программирования, программы LLM по кодированию могут способствовать прорыву в эффективности и инновациях в каждой отрасли», — заявил в заявлении для прессы Джонатан Коэн, вице-президент по прикладным исследованиям Nvidia.
«Сотрудничество Nvidia с ServiceNow и Hugging Face представляет безопасные, ответственно разработанные модели и поддерживает более широкий доступ к подотчетному генеративному искусственному интеллекту, который, как мы надеемся, принесет пользу мировому сообществу», — добавил он.
Как начать работу со StarCoder2?
Как упоминалось ранее, все модели семейства StarCoder2 доступны по лицензии Open RAIL-M с бесплатным доступом и использованием. Вспомогательный код доступен в репозитории GitHub проекта BigCode. В качестве альтернативы команды также могут загрузить и использовать все три модели из Hugging Face.
Тем не менее, модель 15B, обученная Nvidia, также появится в Nvidia AI Foundation, что позволит разработчикам экспериментировать с ней непосредственно из браузера или через конечную точку API.
Хотя StarCoder не является первым продуктом в области генерации кода с помощью искусственного интеллекта, широкое разнообразие опций, которые предлагает последнее поколение проекта, безусловно, позволяет предприятиям воспользоваться преимуществами LLM при разработке приложений, одновременно экономя на вычислениях.
Другими заметными игроками в этой области являются OpenAI и Amazon. Первый предлагает Codex, который поддерживает службу второго пилота GitHub, а второй имеет инструмент CodeWhisper. Также существует сильная конкуренция со стороны Replit, у которой есть несколько небольших моделей ИИ-кодирования на Hugging Face, и Codenium, который недавно получил финансирование серии B в размере 65 миллионов долларов при оценке в 500 миллионов долларов.
[ad_2]
Источник
