Оживить картинку и рисунок нейросетью
Рисунок оживает не так, как фотография, и разница не в качестве, а в направлении: модель обучена достраивать правдоподобные кадры, а значит, каждым следующим кадром она немного тянет вашу иллюстрацию в сторону фотографии. Кто про это не знает, получает «улучшенный» рисунок, в котором не осталось ни обводки, ни характера.
Главное отличие от фотографии
У фотографии вы защищаете сходство: черты лица, пропорции, фон. У рисунка вы защищаете стиль: линию, обводку, палитру, саму «нарисованность».
Если про стиль в запросе не сказано ничего, он уедет. Это не сбой и не неудачная попытка — это то, к чему модель по умолчанию стремится.
Что просить и чего просить не надо
| Что вы хотите | Как это звучит в запросе | Что будет, если не сказать |
|---|---|---|
| Сохранить стиль | «стиль рисунка, обводка и цвета — без изменений; это остаётся рисунком, не фотографией» | Через пару секунд персонаж станет фотореалистичным, а линия исчезнет |
| Оживить персонажа | «персонаж моргает и слегка покачивается, камера неподвижна» | Модель придумает движение сама — обычно поворот головы, на котором лицо перерисовывается |
| Оживить фон | «фон оживает мелкими деталями: листья, дым, вода» | Фон останется статичной картинкой, и клип будет выглядеть как вырезанная наклейка на обоях |
| Сохранить детский рисунок как есть | «не выправляй пропорции, не дорисовывай детали, кривые линии оставь кривыми» | Модель «поможет»: подровняет, добавит теней — и рисунок перестанет быть детским |
Детский рисунок — отдельный случай
Здесь ценность ровно в том, что взрослому глазу кажется недостатком: непропорциональная голова, восемь пальцев, солнце в углу с лучами-палками. Именно это и нужно защитить словами, иначе модель аккуратно всё исправит, и от рисунка вашего ребёнка останется чужая милая иллюстрация.
Что помогает:
- Прямо запретить исправления: «не выправляй пропорции, не добавляй детали и тени».
- Просить движение, а не жизнь: «персонаж покачивается и моргает», а не «персонаж идёт по дороге» — от второго он начнёт перерисовываться на каждом шаге.
- Снимать рисунок ровно и при дневном свете. Фотография листа с бликом от лампы и загнутым углом даёт клип, в котором оживает блик.
- Оставлять поля листа в кадре — так видно, что это именно рисунок на бумаге, и модели легче не «выйти» за него.
Скан лучше пересъёмки
Ровно отсканированный лист работает заметно лучше, чем снятый на телефон под углом: муар, блики и наклон плоскости модель принимает за часть сцены и начинает их анимировать — по кадру идёт рябь, которой на рисунке не было.
Что оживает лучше всего
По той же лестнице, что и у фотографий, только с поправкой на стиль:
- Пейзаж и фон — почти всегда: облака, вода, дым и листва в рисованном стиле выглядят естественно, потому что от них никто не ждёт фотографической точности.
- Один персонаж крупно — хорошо, если движение минимальное. Моргание и покачивание безопасны, поворот головы — нет.
- Комикс или разворот с несколькими сценами — плохо: модель попробует связать панели в одну сцену. Такое оживляют по одной панели.
- Надписи, подписи, реплики в облачках — не выйдет ни при каких формулировках: буквы превратятся в похожую на текст кашу. Их накладывают поверх готового клипа отдельным шагом.
Соберите запрос
Выберите «рисунок или иллюстрация» — конструктор сам добавит защиту стиля в раздел «не должно быть».
Соберите бриф кадра
Четыре решения — и внизу готовый запрос, который можно скопировать или сразу открыть в чате. Именно эти четыре пункта отделяют клип, который получается с первого раза, от серии платных попыток.
1. Что на фотографии
От этого зависит и движение, и список запретов.
Лицо — самая заметная часть кадра: любое лишнее движение читается как подмена человека.
2. Одно движение камеры
Ровно одно. Два движения подряд возвращаются дрожанием кадра — это свойство метода, а не неудачная попытка.
Самый надёжный вариант. С него стоит начинать.
3. Звук
Звук рождается вместе с картинкой в том же проходе и отдельно не стоит — но если о нём промолчать, движок сам сочинит музыку.
Тишину надо попросить: молчание в запросе движок понимает как «придумай саундтрек».
4. Длина
Решается не здесь, а после первого просмотра: запрос заканчивается просьбой сделать самый короткий вариант. Продлевать имеет смысл только то, что уже понравилось — тарификация посекундная, и длинный клип стоит ровно во столько раз дороже, во сколько он длиннее.
Готовый запрос
Оживи это фото: человек на фотографии — дыхание, редкое моргание, едва заметный поворот головы, лёгкое движение волос. Одно движение камеры на весь клип: камера неподвижна, движется только сцена. Без изменений остаются: черты лица, возраст, причёска, одежда и фон. Не должно быть: искажения лица, смены внешности, подмигиваний и улыбок «по команде», читаемого текста и надписей в кадре, любого звука и музыки. Сделай сначала самый короткий вариант — я посмотрю и скажу, продлевать ли.
В чате останется приложить сам снимок — запрос уже будет в поле ввода.
Опрос
Что вы собираетесь оживить?
Проголосуйте, чтобы увидеть результаты
Приложите изображение и опишите движение.
Что почитать дальше
Общая механика метода и лестница сложности — оживить фото нейросетью. Про дозу движения, из-за которой клип выглядит естественным, — анимировать фото. А если рисунка ещё нет и его нужно сначала нарисовать, это соседняя книга: генерация изображений.
Частые вопросы
Как оживить картинку нейросетью?
Почему рисунок превратился в фотографию?
Как оживить детский рисунок и не испортить его?
Можно ли оживить известную картину?
Оживёт ли текст на картинке — подпись, реплика в облачке?
Можно ли оживить комикс целиком?
В чате Twelver можно приложить рисунок или картинку и получить из неё короткий клип — со звуком и с сохранённым стилем, если попросить об этом словами. Стартовые токены на генерацию видео начисляются после регистрации и онбординга.
Попробуйте сами
Всё из этого руководства работает в Twelver
Один чат для текста, картинок, видео, музыки и озвучки — без отдельных сервисов и подписок.
Открыть чат Twelver