Resemble AI запускает инструмент для создания клонов голоса AI за минуту

Resemble AI запускает Rapid Voice Cloning — новую функцию своей платформы, которая значительно ускоряет процесс создания голосовых клонов. Компания работает в неуловимой категории голосового искусственного интеллекта, ориентированной на корпоративных пользователей.

Доступная сегодня технология Rapid Voice Cloning позволяет дублировать голоса из относительно коротких наборов данных и выдавать результат примерно за минуту. Этот шаг, по словам Resemble, знаменует собой значительное развитие и сделает технологию клонирования голоса более доступной, давая возможность большему количеству пользователей создавать собственные голоса для своих приложений. Компания считает, что это окажет влияние на такие области, как создание контента, персонализация и доступность.

Компания Resemble опубликовала несколько образцов голосовых клонов, демонстрирующих возможности новой технологии. VentureBeat также протестировал эту функцию, чтобы увидеть, как она на самом деле работает.

Как работает новая функция клонирования голоса AI?

Используя веб-платформу Resemble, пользователи могут создать цифровую копию своего голоса, загрузив аудиосэмпл или записав серию предложений. Компания предлагала эту функцию уже некоторое время, но этот процесс занял время. Для настройки системы пользователям приходилось записывать около 25 предложений или загружать не менее трех минут голосового контента, а создание клона занимало еще час или около того.

Теперь, с запуском Rapid Voice Cloning, пользователям стало проще начать работу с этой технологией. Все, что им нужно сделать, это предоставить четкий аудиосэмпл целевого голоса продолжительностью от 10 секунд до 1 минуты. Модель компании под капотом мгновенно фиксирует все параметры, включая акценты, из образца и за минуту выдает результат для последующих вариантов использования.

«В то время как другие современные модели часто с трудом воспроизводят нюансы и тонкости различных акцентов, передовые алгоритмы машинного обучения Resemble AI превосходны в этой области. Анализируя и изучая всего лишь 10-секундный образец голоса, наше быстрое клонирование голоса может создать голос, сгенерированный искусственным интеллектом, который точно имитирует уникальные интонации, произношение и темп акцента исходного говорящего», — отметила компания в сообщении в блоге, анонсирующем эта особенность.

Компания опубликовала несколько образцов, сравнивающих свое предложение с моделями клонирования голоса Microsoft VALL-E и XTTS-v2, включая образец входного голоса и текст, используемый для клонирования. Результаты были весьма впечатляющими. Однако когда мы создали бесплатную тестовую учетную запись, чтобы увидеть, как технология работает на практике, обнаружились некоторые явные пробелы.

В наших тестах система требовала записи как минимум трех длинных предложений без возможности записи меньшего 10-секундного фрагмента. Обработка прошла быстро, но она не смогла распознать индийский акцент говорящего и по умолчанию восприняла ввод как образец голоса на американском английском. Это повлияло на акцент выходного голоса. Однако ожидается, что это будет исправлено, поскольку по заявлению компании Rapid Voice Cloning будет поддерживать большинство английских акцентов.

Примечательно, что компания продолжит предоставлять оригинальную функцию клонирования под названием «Профессиональное голосовое клонирование». Этот вариант, требующий длительных требований к вводу, потребует времени, но поддерживает все английские акценты, а также варианты использования преобразования текста в речь и речи в речь. Быстрое клонирование будет поддерживать только преобразование текста в речь.

Используйте в разных категориях

Благодаря скорости Rapid Voice Cloning и значительному сокращению требований к образцам Resemble AI ожидает, что больше пользователей будут использовать эту технологию с более быстрыми итерациями и развертываниями. Наибольшее внедрение ожидается со стороны создателей контента, которые смогут использовать эту технологию для создания озвучки, дубляжа, повествования и диалогов для своих подкастов, видео, аудиокниг или материалов электронного обучения. Компания также заявляет, что с помощью этой технологии предприятия могут создать расширенную доступность и персонализацию.

«Например, фитнес-приложение может использовать Rapid Voice Cloning для создания персонализированного ИИ-тренера, который будет говорить с каждым пользователем знакомым голосом, подбадривая и направляя его. Аналогичным образом, виртуальный помощник может адаптировать свой голос в соответствии с предпочтениями пользователя, создавая более интимное и индивидуальное взаимодействие», — заявили в компании.

Хотя еще неизвестно, как эта технология будет принята на вооружение, важно отметить, что Resemble — не единственный игрок, сокращающий время на создание голосовых клонов. ElevenLabs, еще один крупный игрок в этой категории, предлагает функцию под названием «Мгновенное клонирование голоса», которой требуется как минимум минута чистого звука для почти мгновенного создания клона. Как и Resemble, ElevenLabs также предлагает профессиональную версию инструмента, которая охватывает больше языков и акцентов.

На данный момент Resemble AI позволяет пользователям создавать один бесплатный голосовой клон. Для получения дополнительной информации пользователям придется приобрести платный план компании, стоимость которого начинается от 29 долларов в месяц и доходит до 499 долларов в месяц. Существует также возможность индивидуального плана с оплатой по мере использования или более крупного корпоративного плана с индивидуальной ценой.