Удалить объект из видео нейросетьюГенерация видео нейросетью: полная книга

Удалить объект из видео

Убрать случайного прохожего, логотип, провод или сломавший кадр предмет — на фото это давно рутина (отдельная глава в руководстве про картинки). В видео задача сложнее: объект нужно убрать не на одном кадре, а на всех сразу, и так, чтобы фон за ним был достоверным в движении. Современные модели это умеют.

Почему в видео это труднее, чем на фото

На фотографии нейросеть дорисовывает фон за объектом один раз. В видео тот же фон нужно достроить на десятках кадров — и согласованно: чтобы «заплатка» не дрожала, не меняла текстуру и совпадала с движением камеры. Это называют video inpainting. Поэтому результат сильно зависит от того, что за объектом: ровная стена или вода восстановятся легко, сложный движущийся фон — труднее.

Загрузите ролик, отметьте лишнее — посмотрите кадр без него. Обработка видео дороже фото: первая операция доступна после регистрации и онбординга — за неё начисляются стартовые токены.

Загрузка…

Чтобы вышло чисто

  • Простой фон за объектом восстанавливается лучше. Если за лишним предметом — ровная поверхность или повторяющаяся текстура, результат почти идеален.
  • Минимум движения камеры упрощает задачу: при сильном проезде модели труднее держать «заплатку» стабильной.
  • Объект не должен перекрывать главное. Если за прохожим — лицо героя, нейросеть его додумает, и сходство пострадает.
  • Проверьте границы во времени. Иногда «заплатка» едва дрожит на паре кадров — это видно только в движении, не на стопкадре.

Где это нужно

  • Чистка съёмки — убрать случайных людей, технику, микрофон в кадре.
  • Удаление вотермарков и логотипов — с поправкой на права (чужой контент чистить, чтобы выдать за свой, — не лучшая идея).
  • Реклама и продакшен — убрать лишний реквизит, не переснимая.

Что дальше

Это была последняя глава о работе с готовым видео. Звук и музыку для ваших роликов делают в соседних руководствах: озвучка и голос для видео, музыка и фоновый трек и генерация изображений.


В чате Twelver можно загрузить ролик и убрать из него лишнее — в одной переписке, без отдельных приложений. Стартовые токены на обработку видео начисляются после регистрации и онбординга.

Попробуйте сами

Всё из этого руководства работает в Twelver

Один чат для текста, картинок, видео, музыки и озвучки — без отдельных сервисов и подписок.

Открыть чат Twelver
Оцените свой опыт