HeyGen - нейросеть которая переводит видео на иностранные языки, сохраняя голос

Пользователям интернета стала доступна нейросеть HeyGen, которая переводит видео на иностранные языки, сохраняя голос диктора и имитируя соответствующее движение губ. 

HeyGen — новая нейросеть для разговорных роликов. Искусственный интеллект меняет мимику человека пол выбранный язык, из-за чего картинка получается максимально правдоподобной.

В сети уже появились множество роликов-мемов, переведенных на английский язык, среди которых «Борщ с капусткой, но не красный» с Никитой Литвинковым, «Идущий к реке», «Кандибобер» и другие. Во всех случаях нейросеть успешно передала эмоции и интонации героев видео. 

Множество роликов-мемов

HeyGen переводит слова людей и подстраивает их мимику

Компания HeyGen презентовала нейросеть, которая может автоматически переводить слова людей на видео на другие языки и соответственно подстраивать их мимику.

В сети этот сервис вызвал значительное любопытство - пользователи начали снимать смешные ролики, а также переводить на другие языки известные мемы и сцены из кинофильмов. В то же время генеральный директор HeyGen Джошуа Сю рассчитывает на сотрудничество с образовательными проектами, ютуберами и сферой кино.

"Что, если бы существовала платформа, на которой каждое видео можно было бы просматривать на любом языке со скоростью, близкой к родной? Это больше, чем просто функция перевода, это новая парадигма потребления контента. И вы правы, языковой ИИ - это только отправная точка. Как только мы это сделаем, возможности для персонализации и улучшения пользовательского опыта станут практически безграничными", - написал он в Twitter.

На сайте можно создать индивидуальный видеоаватар, который будет проговаривать необходимый текст на других языках. Также пользователям предлагают выбрать между уже готовыми аватарами и голосами.

После регистрации на сайте пользователям доступен один бесплатный перевод видео длиной от 30 до 59 секунд.

В настоящее время предлагается восемь языков.