[ad_1]
В Санкт-Петербургском Федеральном исследовательском центре РАН (СПб ФИЦ РАН) создали приложение для распознавания речи человека по губам. В его основе лежит нейросеть, которую обучили понимать несколько сотен наиболее распространенных команд по видеозаписям со звуком. Эта разработка на базе алгоритмов искусственного интеллекта и компьютерного зрения поможет повысить точность работы голосовых помощников в шумных условиях, например в людных местах или при управлении тяжелой техникой.
По словам ученых, созданная нейросеть способна воспринимать аудиовизуальный сигнал и автоматически принимать решение о том, какие данные (видео или звук, или оба) при распознавании дадут максимальную точность.
«Мы разработали приложение для смартфона, которое распознает звучащую речь, и считывает „по губам” слова пользователя, анализируя видеосигнал с камеры гаджета. Программа совмещает и анализирует информацию из двух источников для улучшения точности распознавания. Эксперименты показали, что такая гибридная система значительно эффективнее распознает команды человека в сложных и шумных условиях», – рассказал старший научный сотрудник лаборатории речевых и многомодальных интерфейсов СПб ФИЦ РАН Денис Иванько.
В ходе экспериментов приложение использовалось водителями шумных большегрузных автомобилей одной из логистических компаний России. Для этого ПО было установлено на смартфоны испытуемых. Точность распознавания команд только по визуальным эффектам составила 60–80 %, а в комбинации со звуковым сигналом – более 90 %.
Разработчики предполагают, что в будущем их приложение может найти применение у пилотов самолетов и тяжелой промышленной техники или для использования в интерактивных информационных киосках в торговых центрах и других местах массового скопления людей.
Изображение: Freepik
[ad_2]
Источник
