Убрать объект с видео нейросетью

Прохожий, который влез в кадр. Забытая кружка на столе. Титр не в том углу. Раньше это означало пересъёмку или ручной ротоскоп по кадрам — теперь достаточно загрузить ролик и словами сказать, что убрать. Здесь собрано всё по теме: что убирается чисто, что нет, как сформулировать запрос и где проходит честная граница метода.

Сразу о главном ограничении

Нейросеть не стирает объект «заплаткой» на вашем файле — она пересобирает ролик заново по исходнику и вашему описанию. Поэтому мелкие детали могут слегка разойтись с оригиналом, и чем длиннее видео, тем заметнее расхождение.

Честный рабочий диапазон — короткие фрагменты в несколько секунд. Длинный ролик стоит нарезать и чистить по кускам. Это не оговорка на всякий случай, а измеренное свойство метода.

Как это выглядит

Благодарный случай — предметы, стоящие на ровном полу у ровной стены: за ними нет глубины, которую нужно додумывать, поэтому фон на их месте достраивается уверенно, без мутного пятна и без блюра.

До
После
Запрос: «убрать коробки и ковёр с пола, паркет и свет не трогать». Пол и рисунок света восстановились чисто — но кадр слегка «переснялся»: батарея и раскладка паркета встали чуть иначе, чем в оригинале.

Что убирается чисто, а что нет

Сложность задачи определяет не размер объекта, а то, сколько сцены нейросети придётся придумать на его месте:

  • Текст и плашки — легче всего. Буквы лежат плоско, фон за ними обычно ровный.
  • Неподвижный предмет на простом фоне — надёжно, но может остаться тень: про неё стоит сказать в запросе отдельно.
  • Движущийся человек — труднее всего: за ним по ходу ролика открывается разная часть сцены, и её нужно достроить целиком.
  • Объект, перекрывающий лицо или главного героя — риск: то, что было под ним, модель додумает, и сходство может пострадать.

Как эта лестница выглядит на практике — два её края. Сначала самый лёгкий случай: плоский текст поверх ровной стены.

До
После
Запрос: «удалить надпись в правом верхнем углу». Надпись уходит бесследно: чашка, пар и свет остаются как были.

А теперь самый трудный: двое идущих людей, за которыми по ходу ролика открывается разная часть сцены.

До
После
Запрос: «убери двоих прохожих на заднем плане». Прохожие исчезли на всех кадрах, набережная и перила достроены, героиня в кадре не изменилась.

Загрузите короткий ролик и опишите, что убрать и где оно в кадре. Обработка видео дороже фото: первая операция доступна после регистрации и онбординга — за неё начисляются стартовые токены.

Загрузка…

Как описать задачу, чтобы получилось

Одно правило важнее остальных: назовите объект, его место в кадре и то, что должно остаться нетронутым. По размытому «убери лишнее» модель нередко возвращает ролик без изменений — не потому, что не справилась, а потому что не поняла, что именно считать лишним.

Частные случаи

Главы этой книги разбирают отдельные случаи — у каждого своя механика и свои границы; полный список ниже, в оглавлении. Общий разбор метода и того, почему на видео это труднее, чем на фото, живёт в главе удалить объект из видео книги про генерацию видео. Обратная задача — не убрать текст, а положить его правильно — это субтитры к видео.

Частые вопросы

Можно ли убрать объект с видео нейросетью?
Да. Загрузите ролик и опишите, что убрать и в какой части кадра оно находится — нейросеть достроит то, что было за объектом, вместо того чтобы замазывать его плашкой. Надёжнее всего это работает на коротких фрагментах в несколько секунд. Сделать это можно в одной переписке в чате Twelver.
Чем это отличается от размытия в обычном редакторе?
Редактор закрывает область блюром или плашкой: объект формально исчезает, но на его месте остаётся пятно, которое видно даже сильнее исходного. Нейросеть вместо этого достраивает фон под объектом, поэтому пятна не остаётся. Взамен она пересобирает ролик заново, так что мелкие детали могут слегка разойтись с оригиналом.
Какой длины ролик можно почистить?
Честный диапазон — короткие фрагменты в несколько секунд. Чем длиннее видео, тем сильнее пересобранный результат расходится с оригиналом в мелочах. Длинный ролик стоит нарезать и почистить по кускам.
Что убрать не получится?
Хуже всего идут объекты, которые перекрывают лицо или главного героя: то, что было под ними, модель додумает, и сходство пострадает. Сложнее среднего — быстро движущийся человек на сложном фоне. Отдельно: вернуть вырезанный объект на прозрачном фоне нельзя — альфа-канала на выходе нет.
Нужно ли устанавливать приложение?
Нет, обработка идёт на сервере, а с компьютера или телефона достаточно браузера. Подробнее об этом — в главе удалить объект из видео онлайн.
Можно ли убрать чужой водяной знак?
Технически знак и любая другая надпись для модели одно и то же, но с поправкой на права: чистить чужой ролик, чтобы выдать его за свой, — не лучшая идея, и водяной знак обычно стоит там именно затем, чтобы этого не делали. Уместные сценарии — своя съёмка и свои же титры: вшитые субтитры, плашка бесплатного редактора на вашем экспорте, устаревшая цена в вашем ролике.

В чате Twelver можно загрузить ролик и убрать из него лишнее — онлайн, в одной переписке, без отдельных приложений. Стартовые токены на обработку видео начисляются после регистрации и онбординга.

Содержание

  1. 1.Убрать надпись с видео нейросетью
  2. 2.Убрать лишнее с видео нейросетью
  3. 3.Убрать человека с видео нейросетью
  4. 4.Вырезать объект из видео нейросетью
  5. 5.Удалить предмет с видео нейросетью
  6. 6.Удалить объект из видео онлайн — без приложений

Попробуйте сами

Всё из этого руководства работает в Twelver

Один чат для текста, картинок, видео, музыки и озвучки — без отдельных сервисов и подписок.

Открыть чат Twelver
Лендинг по темеУдалить объект из видеоTwelver на AndroidТот же чат в приложенииДоступно в RuStore
Оцените свой опыт