[ad_1]
Генеративная генерация кода на основе искусственного интеллекта становится все более мощной и компактной.
Stability AI, поставщик, который до сих пор, пожалуй, наиболее известен своей технологией стабильного распространения текста в изображения ИИ, сегодня анонсировал свою первую новую модель ИИ 2024 года: коммерческую лицензию (через членство) Stable Code 3B.
Как следует из названия модели, Stable Code 3B — это модель с 3 миллиардами параметров, ориентированная на возможности завершения кода для разработки программного обеспечения.
Имея всего 3 миллиарда параметров, Stable Code 3B может работать локально на ноутбуках без выделенных графических процессоров, обеспечивая при этом конкурентоспособную производительность и возможности по сравнению с более крупными моделями, такими как CodeLLaMA 7B от Meta.
Стремление к меньшим, более компактным и функциональным моделям — это то, что Stability AI начала продвигать в конце 2023 года с такими моделями, как StableLM Zephyr 3B для генерации текста.
Stability AI впервые представила Stable Code в августе 2023 года вместе с первой версией LLM для генерации кода и с тех пор постоянно работает над улучшением этой технологии.
Как Stability AI улучшил Stable Code 3B
Stability AI улучшила Stable Code по нескольким направлениям с момента первого выпуска.
Благодаря новому стабильному коду 3B модель не только предлагает новые строки кода, но также может заполнять более крупные недостающие разделы в существующем коде.
Возможность заполнения недостающих разделов кода — это расширенная возможность завершения кода, известная как «Заполнение середины» (FIM).
Обучение модели также было оптимизировано за счет расширенного размера контекста с использованием метода, известного как встраивание вращающихся позиций (RoPE), что позволяет опционально допускать длину контекста до 100 тыс. токенов. Технику RoPE также используют другие LLM, в том числе Llama 2 Long от Meta.
Stable Code 3B построен на модели естественного языка Stable LM 3B компании Stability AI. В ходе дальнейшего обучения, сосредоточенного на данных разработки программного обеспечения, модель приобрела навыки завершения кода, сохранив при этом сильные стороны в общеязыковых задачах.
Данные для обучения включали репозитории кода, форумы программистов и другие технические источники.
Он также обучался на 18 различных языках программирования, и Stability AI утверждает, что Stable Code 3B демонстрирует лучшую производительность в тестах производительности на нескольких языках.
Модель охватывает популярные языки, такие как Python, Java, JavaScript, Go, Ruby и C++. Ранние тесты показывают, что он соответствует или превосходит качество сборки моделей, более чем в два раза превышающих его размер.
Рынок инструментов генерации кода генеративного искусственного интеллекта конкурирует с множеством инструментов, включая CodeLLaMA 7B от Meta, который является одним из самых крупных и популярных вариантов.
Что касается 3 миллиардов параметров, то StarCoder LLM, разработанный как проект с открытым исходным кодом при участии IBM, HuggingFace и ServiceNow, является еще одним популярным вариантом.
Stability AI утверждает, что Stable Code 3B превосходит StarCoder на языках программирования Python, C++, JavaScript, Java, PHP и Rust.
Часть предложения членской подписки Stability AI.
Stable Code 3B становится доступным для коммерческого использования в рамках новой членской подписки Stability AI, о которой впервые было объявлено в декабре.
Участники получают доступ к Stable Code 3B наряду с другими инструментами искусственного интеллекта из портфолио Stability AI, включая инструменты SDXL для создания стабильных диффузных изображений, StableLM Zephyr 3B для генерации текстового контента, Stable Audio для генерации аудио, Stable Video для генерации видео.
[ad_2]
Источник
