Разработчики компании HeyGen представили нейросеть, способную в автоматическом режиме переводить видеоролики на другие языки с сохранением мимики говорящего и голоса. На днях сервис микроблогов X заполонили мемные видео, озвученные с помощью новой нейросети.
Подробности
Джошуа Сю, работающий в HeyGen на посту гендиректора, рассчитывает, что новая нейросеть заинтересует YouTube-блогеров, кинопроизводителей и образовательные проекты.
The HeyGen neural network now able to re-translate video into foreign languages while preserving the original voice in the frame. HeyGen overlays deepfake on the lips so that their movements coincide with the new audio track. pic.twitter.com/WpZXDOy2Fj
— NEXTA (@nexta_tv) September 11, 2023
На сайте пользователям доступна возможность создания индивидуального аватара для озвучивания необходимого текста на требуемом языке. Кроме этого, они могут выбрать уже готового аватара. Для работы с нейросетью необходима регистрация. Бесплатно можно перевести один видеоролик продолжительностью 30-59 сек. На данный момент нейросеть поддерживает восемь языков.
