Нейромережа VASA-1 перетворює фото на відео

Microsoft знову на передовій інновацій у галузі штучного інтелекту. Нещодавно компанія презентувала свою нову нейромережу VASA-1, яка може перетворювати звичайні фотографії на реалістичні відео. Пам’ятаєте опубліковані у газеті «живі» фото Сіріуса Блека з кінофільму «Гаррі Поттер і в’язень Азкабану»? Те, що у 2004 році було фантастикою, через 20 років втілилося у реальність. Щоб ШІ детально відтворив емоції та міміку і видав надзвичайно живе відео, достатньо лише одного знімку та аудіозапису. На офіційному сайті Microsoft вже є сторінка, присвячена цій технології, де можна знайти багато прикладів її застосування.

VASA-1 використовує передові алгоритми для моделювання руху частин обличчя, забезпечуючи природність та плавність міміки. ШІ розділяє обличчя на сегменти, схожі на м'язи, що дозволяє здійснювати відтворення навіть таких складних рухів, як повороти голови. Інструменти для редагування емоційного стану та напрямку погляду персонажів дають користувачам можливість адаптувати контент під різні потреби – від розважальних блогів до професійних подкастів. Система працює на потужних ПК з графічними процесорами NVIDIA RTX 4090 і підтримує створення відео з частотою до 45 кадрів за секунду з фотографій з роздільною здатністю до 512×512 пікселів.

Оскільки можливості VASA-1 справді революційні, Microsoft висловлює стурбованість щодо потенційного використання нейромережі для створення неправдивих зображень і відео з метою маніпуляцій або шахрайства. Наразі компанія тимчасово відмовляється від розповсюдження онлайн-демо, API та інших інструментів, пов'язаних з VASA-1, доки не будуть розроблені надійні механізми для забезпечення етичного використання цієї технології.