Китайська компанія ByteDance (володіє TikTok) представила проект OmniHuman-1 – генеративний ШІ, який “оживляє” зображення та синхронізує відео із завантаженим аудіо.
Як зазначають у TechCrunch, ШІ-модель без проблем справляється з природними людськими рухами, і підсумкові відео виходять «мабуть найреалістичнішими» серед конкурентів.
«В останні роки наскрізна людська анімація зазнала помітних покращень. Однак існуючі методи, як і раніше, важко масштабуються як великі загальні моделі генерації відео, що обмежує їх потенціал у реальних додатках».
Нейромережа обробляє знімки з людьми крупним планом або в повний зріст. OmiHuman-1 також взаємодіє зі сторонніми предметами на фото, якщо вони є.
При генерації відео можна регулювати співвідношення сторін підсумкового відео та налаштовувати кадр.
В основі OmiHuman-1 є відеогенератор SeaWeed (також розроблений ByteDance). OmniHuman-1 має безкоштовну демоверсію, але на момент написання новини сайт проекту не працює.