Логотип Терафермы Тераферма Регистрация

6 ноября 2026 г. · Анатолий Крылов, редактор Терафермы

Озвучка видео нейросетью: дубляж ролика на другой язык на своей GPU

Монитор с видеокадром, звуковые волны, наушники и микрофон — озвучка видео нейросетью и дубляж ролика на другой язык

Озвучка видео нейросетью на своей GPU — это четыре модели по очереди: Whisper распознаёт речь, LLM переводит, TTS с клоном голоса озвучивает, Demucs отделяет фоновую музыку. На арендованной RTX 4090 за 54 ₽/час десятиминутный ролик дублируется за 5–10 минут работы карты, а 100 минут видео обходятся примерно в 81 ₽. Для сравнения, у ElevenLabs по данным на октябрь 2026 автоматический дубляж стоит $0,33–0,50 за минуту исходного видео, то есть около $50 за те же 100 минут.

Из чего состоит дубляж

Ручной дубляж — это переводчик, диктор и звукорежиссёр. Нейросетевой повторяет ту же цепочку, только в каждом звене стоит модель.

Шаг Что делает Модель Видеопамять
1. Разделение дорожек отделяет голос от музыки и шумов Demucs 2–4 ГБ
2. Распознавание текст с таймкодами по фразам Whisper large-v3 или turbo 5–10 ГБ
3. Перевод текст на целевом языке LLM 7–14B или NLLB 5–10 ГБ
4. Озвучка речь голосом исходного спикера TTS с клонированием 4–8 ГБ
5. Сведение подгонка длины фраз, наложение на музыку ffmpeg не нужна
6. Синхронизация губ (необязательно) подгоняет движение рта под новую речь LatentSync, Wav2Lip 8–20 ГБ

Если запускать модели по очереди и выгружать из памяти, хватает карты на 16 ГБ. На 24 ГБ можно держать Whisper и TTS одновременно и обрабатывать пачку роликов без перезагрузки моделей.

Шаг 1. Отделить голос от фона

Если в ролике есть музыка или шум улицы, их нужно сохранить: дубляж поверх тишины звучит неестественно. Demucs режет дорожку на голос и всё остальное:

pip install demucs
ffmpeg -i video.mp4 -vn -ac 2 -ar 44100 audio.wav
demucs --two-stems=vocals audio.wav

На выходе два файла: vocals.wav (голос) и no_vocals.wav (фон). Голос пойдёт в распознавание и станет образцом для клонирования, фон — подложкой для новой озвучки.

Шаг 2. Распознать речь с таймкодами

Whisper выдаёт текст, разбитый на фразы с началом и концом каждой. Именно таймкоды позволяют потом поставить переведённую фразу на нужное место. Быстрее всего работает faster-whisper:

from faster_whisper import WhisperModel
model = WhisperModel("large-v3", device="cuda", compute_type="float16")
segments, info = model.transcribe("vocals.wav", vad_filter=True)
for s in segments:
    print(f"{s.start:.2f}\t{s.end:.2f}\t{s.text}")

На RTX 4090 десять минут речи распознаются меньше чем за минуту. Подробно о моделях Whisper, их скорости и точности на русском написано в статье транскрибация Whisper на GPU, готовые команды запуска есть на странице Whisper на арендованной GPU.

Проверьте текст глазами. Ошибка распознавания тянется дальше: переводчик переведёт неправильное слово, а TTS его озвучит. Пять минут правки субтитров экономят перегенерацию всего ролика.

Шаг 3. Перевести с учётом длины

Можно взять специализированный переводчик вроде NLLB, но для дубляжа лучше подходит языковая модель. Ей можно поставить условие, которое классический переводчик не понимает: перевод должен звучать примерно столько же, сколько оригинал.

Это главная проблема дубляжа. Русский текст в среднем на 15–25% длиннее английского. Если фраза в оригинале длится 3 секунды, а перевод — 4, озвучку придётся ускорять, и она станет неестественной.

Пример инструкции для модели:

Переведи фразы на русский для дубляжа. Каждая фраза должна произноситься не дольше оригинала: сокращай, выбирай короткие синонимы, сохраняй смысл. Верни столько же строк, сколько получил.

Для перевода с английского и обратно хорошо работают открытые модели на 7–14B в 4-битном квантовании: они помещаются в 6–10 ГБ. Какие из них лучше справляются с русским, разобрано в статье Qwen, DeepSeek или Llama для русского языка.

Переводите пачками по 20–50 фраз с контекстом всего ролика: так модель держит единую терминологию и не переводит одно и то же слово по-разному.

Шаг 4. Озвучить голосом спикера

Современные TTS-модели клонируют голос по образцу на 6–30 секунд. Берите чистый фрагмент из vocals.wav, без музыки и перебиваний.

На что смотреть при выборе модели:

  • Поддержка языка. Не все модели одинаково хорошо говорят по-русски. Прежде чем обрабатывать весь ролик, озвучьте пять фраз и послушайте.
  • Лицензия. У части популярных моделей веса разрешены только для некоммерческого использования. Например, XTTS v2 распространяется под Coqui Public Model License с запретом коммерческого применения, а компания-разработчик закрылась. Для роликов, которые монетизируются, выбирайте модели с лицензией Apache 2.0 или MIT и проверяйте её в карточке модели.
  • Скорость. На RTX 4090 большинство моделей генерируют речь в 5–20 раз быстрее реального времени.

Озвучивайте по фразам, а не весь текст одним куском. Так каждую фразу можно отдельно подогнать по длине и при необходимости перегенерировать.

Шаг 5. Свести дорожку

Каждую озвученную фразу нужно поставить на её таймкод и уложить в длительность оригинала. Если фраза длиннее, её ускоряют фильтром atempo в ffmpeg. Ускорение до 1,15 раза почти не слышно, а больше 1,25 уже заметно, и такую фразу лучше вернуть на шаг перевода и сократить.

После этого все фразы склеиваются в одну дорожку и смешиваются с фоном:

ffmpeg -i dub.wav -i no_vocals.wav -filter_complex "amix=inputs=2:duration=longest" mix.wav
ffmpeg -i video.mp4 -i mix.wav -map 0:v -map 1:a -c:v copy -c:a aac dubbed.mp4

Видео не перекодируется (-c:v copy), поэтому этот шаг занимает секунды и работает на процессоре.

Шаг 6. Синхронизация губ, если нужна

Для роликов, где спикер крупно в кадре, расхождение губ и звука заметно. Модели вроде LatentSync и Wav2Lip перерисовывают область рта под новую дорожку.

Это самый тяжёлый шаг: он работает с каждым кадром видео. На RTX 4090 обработка обычно занимает от сопоставимого с длиной ролика времени до нескольких его длительностей, в зависимости от модели и разрешения. Для обучающих видео с экраном, подкастов и роликов, где лицо мелко или не в кадре, этот шаг можно пропустить.

Сколько времени и денег уходит

Ориентиры для десятиминутного ролика на RTX 4090. Время зависит от моделей и настроек, считайте цифры порядком величины.

Шаг Время работы карты
Demucs 1–2 мин
Whisper large-v3 до 1 мин
Перевод LLM 8B 1–2 мин
TTS с клоном голоса 1–3 мин
Сведение ffmpeg секунды
Итого без синхронизации губ 5–10 мин
Синхронизация губ 10–30 мин и больше

Формула стоимости простая:

Стоимость = тариф, ₽/час × (минуты работы на ролик × число роликов + время на установку) ÷ 60

Установка окружения и загрузка моделей в первый раз занимают 15–20 минут. Поэтому выгодно обрабатывать пачку роликов за одну сессию. Десять роликов по 10 минут — это примерно 60–80 минут работы карты плюс установка, итого 1–1,5 часа, или около 81 ₽.

Объём Своя GPU (RTX 4090) ElevenLabs, $0,33–0,50 за минуту
10 минут видео ≈ 27 ₽ (с установкой) $3,3–5
100 минут видео ≈ 81 ₽ $33–50
1 000 минут видео ≈ 648 ₽ $330–500

Цены ElevenLabs взяты из сторонних обзоров тарифов API на октябрь 2026, за каждый целевой язык отдельно. Проверьте актуальные на сайте сервиса. Оплатить зарубежный сервис из России с российской карты, как правило, нельзя, а на своей GPU платите только за минуты работы.

Готовый сервис выигрывает на малых объёмах: один ролик в месяц проще загрузить в браузер. На десятках роликов и при дубляже на несколько языков своя связка дешевле в разы и даёт полный контроль над переводом и голосом.

Где теряется качество

Ошибки распознавания. Имена, термины, аббревиатуры. Решается правкой субтитров или подсказкой Whisper через параметр initial_prompt со списком терминов.

Слишком длинный перевод. Самая частая причина «скороговорки». Сокращайте на шаге перевода, а не ускорением.

Плохой образец голоса. Музыка, эхо, второй голос в образце переносятся в клон. Потратьте минуту на выбор чистого фрагмента.

Несколько спикеров. Если в ролике говорят двое и больше, сначала разделите речь по спикерам (диаризация, например pyannote) и клонируйте каждый голос отдельно.

Интонация. TTS читает ровнее живого человека. Для эмоциональных роликов попробуйте несколько вариантов фразы и выберите лучший: на GPU это стоит копейки.

Как обрабатывать пачку роликов

Ручной запуск шагов подходит для первого ролика. Дальше выгоднее собрать конвейер в один скрипт, который берёт все файлы из папки и прогоняет их без вашего участия.

Схема простая:

  1. Очередь файлов. Скрипт проходит по папке /workspace/input и для каждого ролика создаёт отдельную рабочую папку.
  2. Модели загружаются один раз. Whisper, переводчик и TTS поднимаются в начале и остаются в памяти, пока не обработаны все ролики. Перезагрузка моделей для каждого файла съедает минуты.
  3. Промежуточные файлы сохраняются. Текст с таймкодами, перевод и озвученные фразы лежат на диске. Если на каком-то шаге что-то пошло не так, вы перезапускаете только его, а не весь ролик.
  4. Проверка человеком в середине. Остановите конвейер после перевода и просмотрите тексты: это самый дешёвый момент для правок. Озвучка и сведение после этого идут автоматически.
  5. Результаты сразу в хранилище. Готовые ролики выгружаются в облако, чтобы после остановки сервера ничего не потерялось.

Для дубляжа на несколько языков распознавание и разделение дорожек делаются один раз, а перевод и озвучка — для каждого языка отдельно. Поэтому второй и третий языки обходятся дешевле первого: примерно в 2–4 минуты работы карты на десятиминутный ролик.

Если ролики приходят постоянно, а не пачками, держать сервер включённым незачем. Копите файлы и запускайте обработку раз в день или раз в неделю: так вы платите только за минуты реальной работы, а время на установку окружения делится на все ролики сессии.

Дубляж видео нейросетью — это Demucs, Whisper, LLM-переводчик и TTS с клоном голоса, которые помещаются на одну карту от 16 ГБ. Ролик на 10 минут обрабатывается за 5–10 минут работы RTX 4090, сто минут видео — примерно за 81 ₽. Главное для качества — переводить с оглядкой на длину фраз и брать чистый образец голоса, для законности — согласие владельца голоса и подходящая лицензия модели.

Соберите связку на аренде RTX 4090 и прогоните первый ролик за одну сессию.

Вопросы по теме

Как озвучить видео нейросетью на другом языке?

Связкой из четырёх шагов: Whisper распознаёт речь и делит её на фразы с таймкодами, языковая модель переводит текст, TTS-модель с клонированием голоса озвучивает перевод, а Demucs отделяет фоновую музыку, чтобы наложить новую дорожку поверх неё. Все шаги работают на одной видеокарте от 16 ГБ.

Сколько стоит дубляж видео на своей GPU?

На RTX 4090 за 54 ₽/час ролик на 10 минут без синхронизации губ обрабатывается за 5–10 минут работы карты. 100 минут видео — примерно 1–1,5 часа, то есть около 81 ₽. Синхронизация губ добавляет ещё столько же или больше.

Какая видеокарта нужна для озвучки видео нейросетью?

Хватает 16 ГБ видеопамяти, если запускать модели по очереди: Whisper large-v3 занимает до 10 ГБ, TTS — 4–8 ГБ, переводчик на 8B в 4 битах — около 6 ГБ. На 24 ГБ, например RTX 4090, можно держать в памяти две модели сразу и работать быстрее.

Можно ли клонировать чужой голос для озвучки?

Только с согласия его владельца. Свой голос или голос автора, который разрешил дубляж, — можно. Озвучка чужим голосом без разрешения может нарушать права человека и правила площадок, на которых публикуется ролик.

Подберите GPU

Все видеокарты каталога с поминутной оплатой в рублях.