Netflix VOID: удаление объектов и их взаимодействий из видео
Как VOID использует маски для удаления объектов из видео и какие артефакты проверять перед массовой обработкой.
Что делает VOID
VOID расшифровывается как Video Object and Interaction Deletion. Проект Netflix работает с удалением объекта вместе с последствиями его взаимодействия со сценой. Это сложнее закрашивания выбранной области: после удаления предмета движение других объектов должно оставаться правдоподобным.
Открытый репозиторий описывает подход на основе CogVideoX с quadmask и двухпроходной обработкой. Маска задаёт разные области редактирования; второй проход помогает согласовать результат во времени. Авторы также предоставляют инструменты подготовки и изменения масок.
Как проверить на своём ролике
Начните с короткого фрагмента, на который у вас есть права, и одного хорошо различимого объекта. Сохраните исходник, маску и параметры запуска. Просмотрите результат покадрово в моменты контакта, перекрытия и выхода объекта из кадра: именно там заметны остаточные тени, скачки фона и нарушения движения.
Сравнивайте несколько вариантов одной маски при одинаковых параметрах. Если фон восстановлен правильно, но взаимодействие выглядит нелогично, расширение области удаления может оказаться важнее изменения текстового описания.
Перед пакетной обработкой
Измерьте время и потребление памяти на роликах нужного разрешения. В очередь добавляйте сначала небольшую выборку сцен разного типа, сохраняя исходные файлы. Репозиторий исследовательской модели и доступный endpoint — разные формы поставки: для интеграции нужно отдельно выбрать среду запуска и проверить её контракт. Для других сценариев генерации смотрите каталог моделей.
Первоисточник
Источники и документация
Следующий шаг — на практике.
Перед интеграцией проверьте ID модели, актуальную цену и формат запроса. Доступность зависит от модели и маршрута провайдера.
