Розробники компанії HeyGen представили нейромережу, здатну в автоматичному режимі перекладати відеоролики іншими мовами зі збереженням міміки мовця і голосу. Днями сервіс мікроблогів X заполонили мемні відео, озвучені за допомогою нової нейромережі.
Детально
Джошуа Сю, який працює в HeyGen на посаді гендиректора, розраховує, що нова нейромережа зацікавить YouTube-блогерів, кіновиробників і освітні проекти.
Нейронна мережа HeyGen тепер здатна перекладати відео іноземними мовами, зберігаючи при цьому оригінальний голос у кадрі. HeyGen накладає deepfake на губи, щоб їхні рухи збігалися з новою звуковою доріжкою. pic.twitter.com/WpZXDOy2Fj
– NEXTA (@nexta_tv) September 11, 2023
На сайті користувачам доступна можливість створення індивідуального аватара для озвучування необхідного тексту необхідною мовою. Крім цього, вони можуть вибрати вже готового аватара. Для роботи з нейромережею необхідна реєстрація. Безкоштовно можна перекласти один відеоролик тривалістю 30-59 сек. Наразі нейромережа підтримує вісім мов.