Исследователи Adobe представили VideoGigaGAN - генеративную модель искусственного интеллекта, которая позволяет масштабировать размытое видео в четкое и плавное видео, которое выглядит в 8 раз четче.
У нас уже давно есть действительно хорошие апскейлеры изображений, но сделать хороший апскейлер видео в геометрической прогрессии сложнее.
Сверхвысокое разрешение видео (VSR) - это процесс получения отдельных кадров видео, повышения разрешения и детализации, а также совмещения кадров для воссоздания видео.
Для этого необходимо решить две противоречивые задачи. Нынешние VSR либо генерируют плавное и размытое видео, либо резкое и глючное.
Программа VideoGigaGAN от Adobe повышает качество размытого видео, чтобы получить видео с временной последовательностью (плавные переходы между кадрами) и высокочастотными деталями.
Вот пример того, что может сделать VideoGigaGAN.
Исследования Adobe снижают эффективность VideoGigaGAN
Он позволяет увеличить разрешение видео в 8 раз с улучшенной детализацией.
Бумага в комментариях 👇 pic.twitter.com/7uEiU7bYqw
- Крис Каштанова (@icreatelife) 22 апреля 2024 года
Как следует из названия, метод Adobe основан на GigaGAN, продвинутой генеративной состязательной сети (GAN).
GAN отлично справляются с апсемплингом изображений, а GigaGAN - один из лучших в области сверхразрешения изображений. Так почему бы просто не использовать GigaGAN на каждом кадре для повышения разрешения изображения, а затем соединить их вместе, чтобы получить видео?
Когда исследователи Adobe попробовали это сделать, они добились отличного разрешения видео, но полученное видео было непоследовательным во времени и мерцало.
Добавив к GigaGAN временные конволюционные слои и слои внимания, временная несогласованность была устранена, но мерцание по-прежнему оставалось проблемой.
VideoGigaGAN решает эту проблему, разделяя низкочастотные и высокочастотные элементы в каждом кадре и обрабатывая их по-разному.
Карта низкочастотных характеристик сглаживается, чтобы удалить высокочастотные детали, которые могут быть источниками шума и мерцания.
С помощью скиповых соединений сохраняются более тонкие детали высокочастотных компонентов, минуя средние слои модели, которые в противном случае были бы потеряны при обработке.
Более подробно о технических деталях вы можете прочитать в Бумага Adobe.
Сайт демо-версии на GitHub компании Adobe очень впечатляют. Adobe пока не называет дату выхода, но будем надеяться, что они позволят нам использовать его в ближайшее время.
Представьте себе, что подобный инструмент может сделать с историческими архивными материалами, классическими фильмами или даже с повышением качества ваших любимых старых телепередач до HD.
