Удалить объект из видео нейросетьюГенерация видео нейросетью: полное руководство

Удалить объект из видео

Убрать случайного прохожего, логотип, провод или сломавший кадр предмет — на фото это давно рутина (отдельная глава в руководстве про картинки). В видео задача сложнее: объект нужно убрать не на одном кадре, а на всех сразу, и так, чтобы фон за ним был достоверным в движении. Современные модели это умеют.

Почему в видео это труднее, чем на фото

На фотографии нейросеть дорисовывает фон за объектом один раз. В видео тот же фон нужно достроить на десятках кадров — и согласованно: чтобы «заплатка» не дрожала, не меняла текстуру и совпадала с движением камеры. Это называют video inpainting. Поэтому результат сильно зависит от того, что за объектом: ровная стена или вода восстановятся легко, сложный движущийся фон — труднее.

Примеры: что получается

Три самых частых запроса — и что нейросеть вернула на пятисекундных роликах со статичной камерой. Все примеры сделаны в чате: слева исходник, справа результат, никакой ручной ретуши между ними не было.

До
После
Запрос: «убери двоих прохожих на заднем плане». Прохожие исчезли на всех кадрах, набережная и перила достроены, героиня в кадре не изменилась.

Прохожие на заднем плане — запрос номер один: так выглядит примерно каждая вторая просьба про удаление объекта из видео. Второй по частоте случай — лишний предмет в пустом кадре.

До
После
Запрос: «убрать автомобиль из кадра». Брусчатка и тени восстановились правдоподобно, но кадр немного «переснялся»: границы двора встали чуть иначе.
До
После
Запрос: «удалить надпись в правом верхнем углу». Самый простой случай: надпись поверх ровной стены убирается бесследно, чашка, пар и свет остаются как были.

Важно понимать, как это работает. Нейросеть не стирает объект «заплаткой» на вашем файле — она пересобирает ролик заново по исходнику и вашему описанию. Поэтому мелкие детали могут слегка разойтись с оригиналом, а чем длиннее ролик, тем заметнее расхождение: честный рабочий диапазон — короткие фрагменты в несколько секунд. Длинное видео стоит нарезать и чистить по кускам.

Загрузите ролик, отметьте лишнее — посмотрите кадр без него. Обработка видео дороже фото: первая операция доступна после регистрации и онбординга — за неё начисляются стартовые токены.

Загрузка…

Чтобы вышло чисто

  • Назовите объект и его место в кадре — «двое прохожих за перилами слева», а не просто «люди». И добавьте, что должно остаться: «героиню в серой куртке не менять». По размытому описанию модель нередко возвращает ролик вообще без изменений.
  • Короткие фрагменты. Несколько секунд чистятся заметно надёжнее, чем минутный ролик: длинное видео лучше нарезать.
  • Простой фон за объектом восстанавливается лучше. Если за лишним предметом — ровная поверхность или повторяющаяся текстура, результат почти идеален.
  • Минимум движения камеры упрощает задачу: при сильном проезде модели труднее держать «заплатку» стабильной.
  • Объект не должен перекрывать главное. Если за прохожим — лицо героя, нейросеть его додумает, и сходство пострадает.
  • Проверьте границы во времени. Иногда «заплатка» едва дрожит на паре кадров — это видно только в движении, не на стопкадре.

Где это нужно

  • Чистка съёмки — убрать случайных людей, технику, микрофон в кадре.
  • Удаление вотермарков и логотипов — с поправкой на права (чужой контент чистить, чтобы выдать за свой, — не лучшая идея).
  • Реклама и продакшен — убрать лишний реквизит, не переснимая.

Частные случаи

Дальше по конкретной задаче — в каждой главе свои примеры, формулировки запроса и границы метода. Все они собраны в отдельном руководстве убрать объект с видео:

Что дальше

На этом работа с готовым видео заканчивается — дальше руководство переходит к применению: как делать ролики под конкретные задачи. Начнём с самого массового — видео для соцсетей. А звук и картинки для роликов делают в соседних руководствах: озвучка и голос для видео, музыка и фоновый трек и генерация изображений.

Частые вопросы

Как удалить объект из видео нейросетью?
Загрузите ролик и отметьте или опишите лишнее — прохожего, логотип, провод, реквизит, — нейросеть уберёт его на всех кадрах и достроит фон в движении. Сделать это можно в одной переписке в чате Twelver; первая операция доступна после регистрации и онбординга.
Почему удалить объект из видео труднее, чем с фото?
На фото фон за объектом дорисовывается один раз, а в видео тот же фон нужно достроить согласованно на десятках кадров, чтобы «заплатка» не дрожала и совпадала с движением камеры (это называют video inpainting). Поэтому результат зависит от того, что за объектом.
Какой длины ролик можно почистить?
Надёжнее всего короткие фрагменты — несколько секунд. Нейросеть не стирает объект «заплаткой» на исходном файле, а пересобирает ролик заново по вашему описанию, поэтому чем длиннее видео, тем сильнее мелкие детали расходятся с оригиналом. Длинное видео стоит нарезать и почистить по кускам.
Как добиться чистого результата?
Лучше всего восстанавливается простой фон за объектом (ровная стена, вода, повторяющаяся текстура) и минимум движения камеры. Следите, чтобы объект не перекрывал главное (например лицо героя), и проверяйте границы в движении, а не на стопкадре.
Можно ли удалять водяные знаки и логотипы из видео?
Технически да, но с поправкой на права: чистить чужой контент, чтобы выдать его за свой, — не лучшая идея. Уместные сценарии — чистка собственной съёмки и удаление лишнего реквизита в своём продакшене.

В чате Twelver можно загрузить ролик и убрать из него лишнее — в одной переписке, без отдельных приложений. Стартовые токены на обработку видео начисляются после регистрации и онбординга.

Попробуйте сами

Всё из этого руководства работает в Twelver

Один чат для текста, картинок, видео, музыки и озвучки — без отдельных сервисов и подписок.

Открыть чат Twelver
Лендинг по темеГенерация видеоTwelver на AndroidТот же чат в приложенииДоступно в RuStore
Оцените свой опыт