1
Британские ученые обучили ИИ трансформировать устную речь в видео с виртуальным сурдопереводчиком. Алгоритм самостоятельно оценивает качество работы. Нейросеть поможет людям с частичной или полной потерей слуха улучшить восприятие контента и свободнее чувствовать себя на публичных мероприятиях.
В мире десятки миллионов глухих и слабослышащих людей, использующих жестовый язык как основное средство коммуникации. С одной стороны, в онлайн-мире проблема общения для слабослышащих людей решается при помощи субтитров. Но с другой — популярные сейчас вебинары, стримы и прочий контент приходится переводить на жестовый язык в режиме реального времени. Ученые давно исследуют эту проблему и ищут решение.
Сейчас исследователи смотрят в сторону нейротехнологий. В Университете Суррея разработчики создали алгоритм сурдоперевода нового поколения. ИИ преобразует устную речь в движения человеческого скелета. Затем скелету придают человеческий облик, и создается реалистичный видеоряд. С помощью технологии можно изготавливать видео и на основе текста.
К чему такие сложности и почему важно движение всего скелета? Язык жестов — это не только знаки руками, в нем задействованы все части тела и даже мимика. Технологии, которые использовались ранее, часто генерировали размытые модели, что приводило к искажению смыслов или вовсе непониманию речи виртуального сурдопереводчика.
Источник:
https://habr.com/ru/company/selectel/blog/530920/