Удалить объект из видео

Убрать случайного прохожего, логотип, провод или сломавший кадр предмет — на фото это давно рутина (отдельная глава в руководстве про картинки). В видео задача сложнее: объект нужно убрать не на одном кадре, а на всех сразу, и так, чтобы фон за ним был достоверным в движении. Современные модели это умеют.

Почему в видео это труднее, чем на фото

На фотографии нейросеть дорисовывает фон за объектом один раз. В видео тот же фон нужно достроить на десятках кадров — и согласованно: чтобы «заплатка» не дрожала, не меняла текстуру и совпадала с движением камеры. Это называют video inpainting. Поэтому результат сильно зависит от того, что за объектом: ровная стена или вода восстановятся легко, сложный движущийся фон — труднее.

Загрузите ролик, отметьте лишнее — посмотрите кадр без него. Обработка видео дороже фото: первая операция доступна после регистрации и онбординга — за неё начисляются стартовые токены.

Загрузка…

Чтобы вышло чисто

Простой фон за объектом восстанавливается лучше. Если за лишним предметом — ровная поверхность или повторяющаяся текстура, результат почти идеален.
Минимум движения камеры упрощает задачу: при сильном проезде модели труднее держать «заплатку» стабильной.
Объект не должен перекрывать главное. Если за прохожим — лицо героя, нейросеть его додумает, и сходство пострадает.
Проверьте границы во времени. Иногда «заплатка» едва дрожит на паре кадров — это видно только в движении, не на стопкадре.

Где это нужно

Чистка съёмки — убрать случайных людей, технику, микрофон в кадре.
Удаление вотермарков и логотипов — с поправкой на права (чужой контент чистить, чтобы выдать за свой, — не лучшая идея).
Реклама и продакшен — убрать лишний реквизит, не переснимая.

Что дальше

Это была последняя глава о работе с готовым видео — дальше руководство переходит к применению: как делать ролики под конкретные задачи. Начнём с самого массового — видео для соцсетей. А звук и картинки для роликов делают в соседних руководствах: озвучка и голос для видео, музыка и фоновый трек и генерация изображений.

Частые вопросы

Как удалить объект из видео нейросетью?

Загрузите ролик и отметьте или опишите лишнее — прохожего, логотип, провод, реквизит, — нейросеть уберёт его на всех кадрах и достроит фон в движении. Сделать это можно в одной переписке в чате Twelver; первая операция доступна после регистрации и онбординга.

Почему удалить объект из видео труднее, чем с фото?

На фото фон за объектом дорисовывается один раз, а в видео тот же фон нужно достроить согласованно на десятках кадров, чтобы «заплатка» не дрожала и совпадала с движением камеры (это называют video inpainting). Поэтому результат зависит от того, что за объектом.

Как добиться чистого результата?

Лучше всего восстанавливается простой фон за объектом (ровная стена, вода, повторяющаяся текстура) и минимум движения камеры. Следите, чтобы объект не перекрывал главное (например лицо героя), и проверяйте границы в движении, а не на стопкадре.

Можно ли удалять водяные знаки и логотипы из видео?

Технически да, но с поправкой на права: чистить чужой контент, чтобы выдать его за свой, — не лучшая идея. Уместные сценарии — чистка собственной съёмки и удаление лишнего реквизита в своём продакшене.

В чате Twelver можно загрузить ролик и убрать из него лишнее — в одной переписке, без отдельных приложений. Стартовые токены на обработку видео начисляются после регистрации и онбординга.

Попробуйте сами

Всё из этого руководства работает в Twelver

Один чат для текста, картинок, видео, музыки и озвучки — без отдельных сервисов и подписок.

Открыть чат Twelver

Лендинг по темеГенерация видео Twelver на AndroidТот же чат в приложении

Оцените свой опыт