Kolena представляет платформу для тестирования моделей искусственного интеллекта и доработанных вариантов

Для компаний, стремящихся внедрить модели искусственного интеллекта в своей деятельности — как для сотрудников, так и для клиентов — один из наиболее важных вопросов даже не в том, какую модель и для чего ее использовать, а в том, какую модель и для чего ее использовать. когда выбранная ими модель безопасна в использовании.

Какой объем тестирования на бэкэнде необходим? Какие тесты следует проводить? В конце концов, большинство компаний, по-видимому, хотели бы избежать неловких (но юмористических) происшествий, которые мы видели с некоторыми автосалонами, использующими ChatGPT для поддержки клиентов, только для того, чтобы обнаружить, что пользователи обманом заставляют их согласиться продавать автомобили за 1 доллар.

Знание того, как тестировать модели, и особенно точно настроенные версии моделей ИИ, может стать решающим фактором между успешным развертыванием и тем, что провалится на первый взгляд и будет стоить компании репутации и в финансовом отношении. Kolena, трехлетний стартап из Сан-Франциско, соучредителем которого является бывший старший технический менеджер Amazon, сегодня объявила о широком выпуске своей AI Quality Platform, веб-приложения, предназначенного для «обеспечения быстрого и точного тестирования и проверки ИИ». системы».

Это включает в себя мониторинг «качества данных, тестирование моделей и A/B-тестирование, а также мониторинг дрейфа данных и ухудшения модели с течением времени». Он также предлагает отладку.

«Мы решили решить эту проблему, чтобы разблокировать внедрение ИИ на предприятиях», — сказал Мохамед Эльгенди, соучредитель и генеральный директор Kolena, в эксклюзивном интервью в видеочате Venturebeat.

Эльгенди смог своими глазами увидеть проблемы, с которыми сталкиваются предприятия при попытке протестировать и развернуть ИИ, поскольку ранее он работал вице-президентом по разработке платформы ИИ в японском гиганте электронной коммерции Rakuten, а также руководителем технического отдела в компании Xray, основанной на машинном обучении. детектор компьютерных угроз Synapse и старший технический менеджер в Amazon.

Как работает платформа качества искусственного интеллекта Kolena

Решение Kolena предназначено для поддержки разработчиков программного обеспечения и ИТ-персонала в создании безопасных, надежных и справедливых систем искусственного интеллекта для реальных сценариев использования.

Обеспечивая быструю разработку подробных тестовых примеров на основе наборов данных, он облегчает тщательное изучение моделей AI/ML в сценариях, с которыми они столкнутся в реальном мире, выходя за рамки совокупных статистических показателей, которые могут скрыть эффективность модели при выполнении критических задач.

Каждый клиент Kolena подключает модель, которую хочет использовать, к своему API и предоставляет собственный набор данных клиента для своего ИИ и набор «функциональных требований» к тому, как они хотят, чтобы их модель работала при развертывании, будь то манипулирование текстом, изображениями, код, аудио или другой контент.

Кроме того, каждый клиент может принять решение об измерении таких атрибутов, как предвзятость и разнообразие возраста, расы, этнической принадлежности и списков из десятков показателей. Колена проведет тестирование модели, имитирующей сотни или тысячи взаимодействий, чтобы увидеть, дает ли модель нежелательные результаты, и если да, то как часто и при каких обстоятельствах или условиях.

Он также повторно тестирует модели после их обновления, обучения, переобучения, точной настройки или изменения поставщиком или клиентом, а также после их использования и развертывания.

«Он проведет тесты и сообщит вам, где именно ухудшилась ваша модель», — сказал Элгенди. «Колена убирает из уравнения часть догадок и превращает его в настоящую инженерную дисциплину, такую ​​​​как программное обеспечение».

Возможность тестировать системы искусственного интеллекта полезна не только для предприятий, но и для самих компаний-поставщиков моделей искусственного интеллекта. Элгенди отметил, что Gemini от Google, недавно ставший предметом споров из-за создания расово запутанных и неточных изображений, возможно, смог бы извлечь выгоду из тестирования AI Quality Platform перед развертыванием.

Два года закрытого бета-тестирования с компаниями из списка Fortune 500 и стартапами

Верная своим стремлениям, Kolena не выпустит свою платформу качества искусственного интеллекта без собственного тщательного тестирования того, насколько хорошо она работает при тестировании других моделей искусственного интеллекта.

Компания предлагала клиентам закрытую бета-версию платформы в течение последних 24 месяцев и дорабатывала ее с учетом их сценариев использования, потребностей и отзывов.

«Мы намеренно работали с избранной группой клиентов, которые помогли нам определить список неизвестных и неизвестных-неизвестных», — сказал Элгенди.

Среди этих клиентов — стартапы, компании из списка Fortune 500, правительственные учреждения и институты стандартизации искусственного интеллекта. Эльгенди объяснил.

В совокупности эта группа клиентов закрытого бета-тестирования уже провела «десятки тысяч» тестов моделей ИИ через платформу Колены.

Забегая вперед, Элгенди сказал, что Колена преследовала клиентов по трем категориям: 1. «строители» базовых моделей искусственного интеллекта 2. покупатели в сфере технологий 3. покупатели за пределами технологий — Элгенди заявил, что одна компания, с которой Колена работала, предоставила большую языковую модель ( LLM) решение, которое могло бы подключаться к точкам быстрого питания и принимать заказы. Другой целевой рынок: производители автономных транспортных средств.

Платформа качества искусственного интеллекта Kolena оценивается в соответствии с моделью «программное обеспечение как услуга» (SaaS) с тремя уровнями возрастающих цен, предназначенными для отслеживания роста компании с помощью искусственного интеллекта: от начала с проверки качества данных до обучения модели и, наконец, , развернув его.