Alibaba запустила бесплатную нейросеть для «оживления» персонажей с изображений

Её можно скачать на компьютер.
Макс ВильтовскийАвтор Лайфхакерааниме и животных с фото. Для этого ей нужно предоставить исходник с героем и ролик с движениями, которые нужно повторить.Модель работает в двух режимах. В первом движения и мимика из видео копируются на персонажа с картинки, во втором персонаж в видео заменяется на изображение, а фон остаётся прежним.
По сравнению с предыдущей моделью, новая версия обеспечивает улучшенное качество анимации и более высокую точность передачи языка тела. Разработчики достигли этого благодаря интеграции скелетных и лицевых сигналов.Модель уже доступна на GitHub и Hugging Face, в генераторе Wan, а также через API на платформе Alibaba Cloud. Её можно скачать и использовать локально — для полноценной работы потребуется видеокарта уровня Nvidia RTX 4090.

Лайфхакер