[ad_1]
Всего за два года после своего создания ElevenLabs, голосовой стартап в области искусственного интеллекта, основанный бывшими сотрудниками Google и Palantir, достиг статуса единорога. Сегодня компания объявила, что привлекла $80 млн в раунде финансирования серии B, увеличив свою оценку в десять раз до $1,1 млрд.
Инвестициями руководят существующие инвесторы Андриссен Горовиц (a16z), бывший генеральный директор GitHub Нат Фридман и бывший руководитель Apple AI Дэниел Гросс при участии Sequoia Capital и SV Angel. Это произошло через шесть месяцев после раунда А стоимостью 19 миллионов долларов, в результате которого компания была оценена примерно в 100 миллионов долларов.
ElevenLabs, которая освоила искусство использования машинного обучения (ML) для клонирования и синтеза голоса на разных языках, заявила, что планирует использовать капитал для продвижения своих исследований и развития предлагаемых продуктов. Также было анонсировано множество новых функций, в том числе инструмент для дублирования полнометражных фильмов и новый рынок, где пользователи смогут продавать свой клонированный голос за деньги.
Ожидается, что они начнут действовать в ближайшие недели.
Делаем контент общедоступным
В мире, где диалекты и языки меняются в каждом регионе, невозможно локализовать контент для всех. Традиционно подход заключался в том, чтобы сосредоточиться на английском или основном языке при найме артистов дубляжа для избранных рынков с потенциалом роста. Затем артисты записывают контент на целевом языке, что позволяет его распространять. Дело в том, что эти ручные дубляжы далеки от оригинального содержания. Плюс даже при этом невозможно масштабировать контент для широкого распространения – особенно когда производственная команда не такая большая.
Бывший инженер Google по машинному обучению Петр Дабковски и бывший стратег по развертыванию Palantir Мати Станишевски, оба родом из Польши, стали свидетелями этой проблемы на собственном опыте, когда увидели плохо дублированные фильмы. Эта задача вдохновила их на создание ElevenLabs, компании, миссия которой — сделать весь контент общедоступным на любом языке и голосе с помощью возможностей искусственного интеллекта.
ElevenLabs дебютировала в 2022 году и с тех пор постепенно растет. На начальном этапе компания произвела фурор благодаря модели преобразования текста в речь, которая синтезировала естественно звучащие голоса искусственного интеллекта на английском языке. Затем модель расширилась до Eleven Multilingual v1 и v2, в которых появилась поддержка синтеза на большем количестве языков, включая польский, немецкий, испанский, французский, итальянский, португальский и хинди. Одновременно компания также разработала голосовую лабораторию, где пользователи могли клонировать свои собственные голоса или генерировать совершенно новые синтетические голоса (путем случайной выборки вокальных параметров) для использования с инструментом синтеза. Это позволило им конвертировать выбранный ими текст, например сценарий подкаста, в аудиоконтент на предпочитаемом ими языке и голосе.
«Технология ElevenLabs сочетает в себе контекстную распознавание и высокую степень сжатия для обеспечения сверхреалистичной речи. Вместо того, чтобы генерировать предложения одно за другим, запатентованная модель компании построена так, чтобы понимать взаимоотношения слов и корректировать доставку в зависимости от более широкого контекста. Он также не имеет жестко запрограммированных функций, а это означает, что он может динамически прогнозировать тысячи характеристик голоса во время генерации речи», — рассказал Станишевски VentureBeat.
Миллион пользователей и продолжает расти
В течение нескольких месяцев после запуска бета-версии инструментов ElevenLabs приобрела значительную популярность: к ней присоединилось более миллиона пользователей. Компания также опиралась на исследования голоса в области искусственного интеллекта, запустив AI Dubbing, инструмент преобразования речи в речь, который позволял пользователям переводить аудио и видео на 29 различных языков, сохраняя при этом голос и эмоции исходного говорящего. На данный момент среди ее клиентов 41% компаний из списка Fortune 500. Сюда также входят известные издатели контента, такие как Storytel, The Washington Post и TheSoul Publishing.
«Мы постоянно вступаем в новые партнерские отношения в сфере B2B, на сегодняшний день их создано более 100. Голоса искусственного интеллекта имеют широкое применение – от предоставления создателям возможности улучшить впечатления аудитории до расширения доступа к образованию и предоставления инновационных решений в издательской деятельности, развлечениях и доступности», – отметил Станишевски.
Теперь, поскольку база пользователей продолжает расти, ElevenLabs также стремится к инновациям в области продуктов, чтобы предоставить пользователям лучший набор функций для работы. Именно здесь на помощь приходит новый рабочий процесс Dubbing Studio.
Рабочий процесс основан на продукте AI Dubbing и предоставляет профессиональным пользователям специальный набор инструментов, позволяющих не только дублировать целые фильмы на выбранном ими языке, но также создавать и редактировать их расшифровки, переводы и тайм-коды, обеспечивая дополнительный практический контроль над производством. . Он поддерживает 29 языков, например AI Dubbing, но упускает один ключевой элемент, критически важный для локализации контента: синхронизацию губ.
Это означает, что если фильм локализован с помощью этого инструмента, он будет дублировать только звук на целевой язык — движение губ в видео останется таким же, как в оригинале. Станишевски подтвердил, что в настоящее время компания уделяет особое внимание обеспечению наилучшего качества звука, но надеется добавить эту возможность в будущем.
Торговая площадка для продажи голосов ИИ и многого другого
В дополнение к студии дубляжа ElevenLabs также запускает приложение специальных возможностей для преобразования текста или URL-адресов в аудио, а также голосовую библиотеку или своего рода торговую площадку, позволяющую пользователям продавать свой клонированный с помощью искусственного интеллекта голос за деньги. Компания предоставляет пользователям возможность определять условия доступности и компенсации за свой голос, сгенерированный ИИ, но отмечает, что его обмен будет многоэтапным процессом, включающим различные уровни проверки. Этот шаг предоставит пользователям более широкий набор моделей голоса для работы, а создателям этих моделей голоса возможность зарабатывать.
«Прежде чем поделиться голосом, пользователи должны пройти проверку голосового кода, прочитав текстовую подсказку в течение определенного периода времени, чтобы подтвердить, что их голос соответствует обучающим образцам. Это, наряду с модерацией нашей команды и ручным одобрением, гарантирует, что подлинные, проверенные пользователями голоса могут быть распространены и монетизированы», — сказал основатель и генеральный директор.
Поскольку эти функции станут общедоступными, что ожидается в ближайшие недели, ElevenLabs надеется привлечь больше клиентов из разных сегментов. Компания заявила, что планирует использовать этот капитал, в результате которого общий объем собранных средств составил 101 миллион долларов, для продвижения исследований в области голосового ИИ, расширения инфраструктуры и разработки новых вертикальных продуктов, одновременно создавая строгие меры безопасности, в том числе классификатор, который может идентифицировать аудио AI.
«В ближайшие годы мы стремимся укрепить свою позицию мирового лидера в области исследований голосового ИИ и внедрения продуктов. Мы также планируем разрабатывать все более совершенные инструменты, адаптированные для профессиональных пользователей и сценариев использования», — сказал Станишевски.
Другими игроками в области генерации голоса и речи с помощью искусственного интеллекта являются MURF.AI, Play.ht и WellSaid Labs. По данным Market US, мировой рынок таких инструментов в 2022 году составлял 1,2 миллиарда долларов и, по оценкам, достигнет почти 5 миллиардов долларов в 2032 году, при этом среднегодовой темп роста чуть выше 15,40%.
[ad_2]
Источник
