Перевод и дубляж видео нейросетью
Перевод видео — это цепочка из трёх шагов, и все три делаются здесь, в одной переписке: расслышать речь, перевести текст, заново озвучить его на другом языке и подставить новую дорожку в ролик. Ещё недавно это был дорогой студийный процесс; сегодня ролик на английском можно «заговорить» по-русски (и наоборот) за минуты. Чего в этой цепочке нет — попадания в губы: переозвученный человек в кадре продолжает артикулировать язык оригинала. Подробно об этом ниже.
Из чего складывается дубляж
Это связка нескольких технологий из соседних руководств:
- Распознавание речи — расшифровать оригинальную дорожку в текст.
- Перевод — перевести этот текст, сохранив смысл и тон.
- Синтез речи — озвучить перевод; в идеале — голосом оригинального диктора, чтобы сохранить узнаваемость.
- Сборка. Подставить новую дорожку в ролик — заменой оригинала или подмешав его фоном.
Синхрона губ у готового видео нет
Это единственное звено, которого в цепочке не хватает, и лучше знать заранее. Переозвучить уже снятый ролик так, чтобы губы говорящего попали в новый язык, здесь нельзя: ни одна из подключённых моделей не пересобирает артикуляцию в существующем кадре.
Липсинк существует, но в другой задаче — когда видео генерируется с нуля из неподвижной фотографии и звуковой дорожки. Это говорящий аватар, и он делает новый кадр, а не правит ваш.
Загрузите ролик и назовите язык — расшифровка, перевод, озвучка и сборка дорожки идут одной цепочкой. Озвучка дороже текста: первый дубляж доступен после регистрации и онбординга — за них начисляются стартовые токены.
Уровни «глубины» дубляжа
Не всегда нужен полный дубляж — выберите по задаче и бюджету:
- Только субтитры — дёшево, быстро, зритель слышит оригинал. Отдельная глава.
- Закадровый перевод — синтезированный голос поверх приглушённого оригинала. Дёшево, понятно, без синхрона губ.
- Полный дубляж — новая дорожка вместо оригинала, при желании голосом оригинального диктора. Звучит как родное видео; губы в кадре остаются от языка оригинала, и на говорящей голове крупным планом это заметно.
Чтобы перевод звучал живым
- Чистый звук оригинала. Шум и музыка мешают распознаванию — чем чище дорожка, тем точнее перевод.
- Вычитайте перевод. Машинный перевод стоит поправить под разговорную интонацию — синтез озвучит ровно то, что написано.
- Следите за длиной фраз. В разных языках реплики разной длины; иногда перевод подрезают, чтобы попасть в тайминг.
Гайд «Видео для зарубежного рынка»
Чек-лист локализации: что переводить, что оставлять, как не потерять интонацию и где дубляж экономит, а где портит.
Входит в подписку
Что дальше
Мы научились переводить и озвучивать. Осталась последняя частая задача с готовым видео — убрать из кадра лишнее.
В чате Twelver перевод и озвучка видео собраны в одной переписке. Стартовые токены начисляются после регистрации и онбординга.
Попробуйте сами
Всё из этого руководства работает в Twelver
Один чат для текста, картинок, видео, музыки и озвучки — без отдельных сервисов и подписок.
Открыть чат Twelver