Мы уже приводили несколько примеров того, как искусственный интеллект позволяет улучшить старые фильмы и сериалы. Эксперименты были начат с сериалом "Звёздный путь: Глубокий космос девять", также недавно бы показан пример преобразования старого черно-белого ролика "Прибытие поезда" в формат 4K@60FPS.
На Reddit появились примеры обработки эпизода сериала "Звёздный путь: Вояджер" из формата DVD в 4K.
Некоторые телевизионные сериалы 90-х годов сохраняют свою популярность и сегодня. Хотя во времена контента высокого разрешения они уже визуально проигрывают. Не зря киностудии выпускают ремастер-версии известных фильмов и сериалов. Как правило, при их создании используется исходный материал высокого разрешения, а также добавляются другие улучшения в виде ремастеринга. В случае фильмов и сериалов, которые подразумевают значительную долю пост-обработки, как те же эффекты компьютерной графики в сериале "Звездный путь", исходный материал с 35-мм пленки обычно переводился на видеокассету в разрешении 640 x 480 пикселей, после чего монтировался. Что облегчало монтаж эффектов в киностудии. Но это также означает и отсутствие исходного материала в высоком разрешении.
Для обработки использовалась сеть глубокого обучения AI Gigapixel, которая тренируется на тысячах фотографий. Она справляется не только с фотографиями, но и с кадрами телевизионных сериалов.
В общей сложности были улучшены пять эпизодов сериала "Звёздный путь: Вояджер". На каждый эпизод уходит порядка шести часов. Система анализирует видео кадр за кадром. Пока что проблемы имеются с панорамированием, то есть плавным разворотом камеры. Но синхронизация аудио проходит гладко.
Результаты с технической стороны выглядят весьма обещающими. Но весь вопрос в том, заинтересуются ли в переиздании владельцы авторских прав. Помимо сериала "Звездный путь" в сервисах потокового вещания доступны десятки других сериалов и ситкомов 90-х, что указывает на их популярность. Их качество можно тоже улучшить с помощью масштабирования, используя искусственный интеллект.
Подобный проект без согласия правообладателя завершить нельзя, поскольку ремастер-копии опубликовать не получится. Но небольшие отрывки посмотреть может любой желающий.
Способ работы AI Gigapixel довольно похож на Deep Learning Super Sampling. В версии DLSS 2.0 качество масштабирования было существенно улучшено, да и реализация стала более гибкой.
Подписывайтесь на группы Hardwareluxx ВКонтакте и Facebook, а также на наш канал в Telegram (@hardwareluxxrussia).