6 ноября 2026 г. · Анатолий Крылов, редактор Терафермы
Озвучка видео нейросетью: дубляж ролика на другой язык на своей GPU
Озвучка видео нейросетью на своей GPU — это четыре модели по очереди: Whisper распознаёт речь, LLM переводит, TTS с клоном голоса озвучивает, Demucs отделяет фоновую музыку. На арендованной RTX 4090 за 54 ₽/час десятиминутный ролик дублируется за 5–10 минут работы карты, а 100 минут видео обходятся примерно в 81 ₽. Для сравнения, у ElevenLabs по данным на октябрь 2026 автоматический дубляж стоит $0,33–0,50 за минуту исходного видео, то есть около $50 за те же 100 минут.
Из чего состоит дубляж
Ручной дубляж — это переводчик, диктор и звукорежиссёр. Нейросетевой повторяет ту же цепочку, только в каждом звене стоит модель.
| Шаг | Что делает | Модель | Видеопамять |
|---|---|---|---|
| 1. Разделение дорожек | отделяет голос от музыки и шумов | Demucs | 2–4 ГБ |
| 2. Распознавание | текст с таймкодами по фразам | Whisper large-v3 или turbo | 5–10 ГБ |
| 3. Перевод | текст на целевом языке | LLM 7–14B или NLLB | 5–10 ГБ |
| 4. Озвучка | речь голосом исходного спикера | TTS с клонированием | 4–8 ГБ |
| 5. Сведение | подгонка длины фраз, наложение на музыку | ffmpeg | не нужна |
| 6. Синхронизация губ (необязательно) | подгоняет движение рта под новую речь | LatentSync, Wav2Lip | 8–20 ГБ |
Если запускать модели по очереди и выгружать из памяти, хватает карты на 16 ГБ. На 24 ГБ можно держать Whisper и TTS одновременно и обрабатывать пачку роликов без перезагрузки моделей.
Шаг 1. Отделить голос от фона
Если в ролике есть музыка или шум улицы, их нужно сохранить: дубляж поверх тишины звучит неестественно. Demucs режет дорожку на голос и всё остальное:
pip install demucs
ffmpeg -i video.mp4 -vn -ac 2 -ar 44100 audio.wav
demucs --two-stems=vocals audio.wav
На выходе два файла: vocals.wav (голос) и no_vocals.wav (фон). Голос пойдёт в распознавание и станет образцом для клонирования, фон — подложкой для новой озвучки.
Шаг 2. Распознать речь с таймкодами
Whisper выдаёт текст, разбитый на фразы с началом и концом каждой. Именно таймкоды позволяют потом поставить переведённую фразу на нужное место. Быстрее всего работает faster-whisper:
from faster_whisper import WhisperModel
model = WhisperModel("large-v3", device="cuda", compute_type="float16")
segments, info = model.transcribe("vocals.wav", vad_filter=True)
for s in segments:
print(f"{s.start:.2f}\t{s.end:.2f}\t{s.text}")
На RTX 4090 десять минут речи распознаются меньше чем за минуту. Подробно о моделях Whisper, их скорости и точности на русском написано в статье транскрибация Whisper на GPU, готовые команды запуска есть на странице Whisper на арендованной GPU.
Проверьте текст глазами. Ошибка распознавания тянется дальше: переводчик переведёт неправильное слово, а TTS его озвучит. Пять минут правки субтитров экономят перегенерацию всего ролика.
Шаг 3. Перевести с учётом длины
Можно взять специализированный переводчик вроде NLLB, но для дубляжа лучше подходит языковая модель. Ей можно поставить условие, которое классический переводчик не понимает: перевод должен звучать примерно столько же, сколько оригинал.
Это главная проблема дубляжа. Русский текст в среднем на 15–25% длиннее английского. Если фраза в оригинале длится 3 секунды, а перевод — 4, озвучку придётся ускорять, и она станет неестественной.
Пример инструкции для модели:
Переведи фразы на русский для дубляжа. Каждая фраза должна произноситься не дольше оригинала: сокращай, выбирай короткие синонимы, сохраняй смысл. Верни столько же строк, сколько получил.
Для перевода с английского и обратно хорошо работают открытые модели на 7–14B в 4-битном квантовании: они помещаются в 6–10 ГБ. Какие из них лучше справляются с русским, разобрано в статье Qwen, DeepSeek или Llama для русского языка.
Переводите пачками по 20–50 фраз с контекстом всего ролика: так модель держит единую терминологию и не переводит одно и то же слово по-разному.
Шаг 4. Озвучить голосом спикера
Современные TTS-модели клонируют голос по образцу на 6–30 секунд. Берите чистый фрагмент из vocals.wav, без музыки и перебиваний.
На что смотреть при выборе модели:
- Поддержка языка. Не все модели одинаково хорошо говорят по-русски. Прежде чем обрабатывать весь ролик, озвучьте пять фраз и послушайте.
- Лицензия. У части популярных моделей веса разрешены только для некоммерческого использования. Например, XTTS v2 распространяется под Coqui Public Model License с запретом коммерческого применения, а компания-разработчик закрылась. Для роликов, которые монетизируются, выбирайте модели с лицензией Apache 2.0 или MIT и проверяйте её в карточке модели.
- Скорость. На RTX 4090 большинство моделей генерируют речь в 5–20 раз быстрее реального времени.
Озвучивайте по фразам, а не весь текст одним куском. Так каждую фразу можно отдельно подогнать по длине и при необходимости перегенерировать.
Шаг 5. Свести дорожку
Каждую озвученную фразу нужно поставить на её таймкод и уложить в длительность оригинала. Если фраза длиннее, её ускоряют фильтром atempo в ffmpeg. Ускорение до 1,15 раза почти не слышно, а больше 1,25 уже заметно, и такую фразу лучше вернуть на шаг перевода и сократить.
После этого все фразы склеиваются в одну дорожку и смешиваются с фоном:
ffmpeg -i dub.wav -i no_vocals.wav -filter_complex "amix=inputs=2:duration=longest" mix.wav
ffmpeg -i video.mp4 -i mix.wav -map 0:v -map 1:a -c:v copy -c:a aac dubbed.mp4
Видео не перекодируется (-c:v copy), поэтому этот шаг занимает секунды и работает на процессоре.
Шаг 6. Синхронизация губ, если нужна
Для роликов, где спикер крупно в кадре, расхождение губ и звука заметно. Модели вроде LatentSync и Wav2Lip перерисовывают область рта под новую дорожку.
Это самый тяжёлый шаг: он работает с каждым кадром видео. На RTX 4090 обработка обычно занимает от сопоставимого с длиной ролика времени до нескольких его длительностей, в зависимости от модели и разрешения. Для обучающих видео с экраном, подкастов и роликов, где лицо мелко или не в кадре, этот шаг можно пропустить.
Сколько времени и денег уходит
Ориентиры для десятиминутного ролика на RTX 4090. Время зависит от моделей и настроек, считайте цифры порядком величины.
| Шаг | Время работы карты |
|---|---|
| Demucs | 1–2 мин |
| Whisper large-v3 | до 1 мин |
| Перевод LLM 8B | 1–2 мин |
| TTS с клоном голоса | 1–3 мин |
| Сведение ffmpeg | секунды |
| Итого без синхронизации губ | 5–10 мин |
| Синхронизация губ | 10–30 мин и больше |
Формула стоимости простая:
Стоимость = тариф, ₽/час × (минуты работы на ролик × число роликов + время на установку) ÷ 60
Установка окружения и загрузка моделей в первый раз занимают 15–20 минут. Поэтому выгодно обрабатывать пачку роликов за одну сессию. Десять роликов по 10 минут — это примерно 60–80 минут работы карты плюс установка, итого 1–1,5 часа, или около 81 ₽.
| Объём | Своя GPU (RTX 4090) | ElevenLabs, $0,33–0,50 за минуту |
|---|---|---|
| 10 минут видео | ≈ 27 ₽ (с установкой) | $3,3–5 |
| 100 минут видео | ≈ 81 ₽ | $33–50 |
| 1 000 минут видео | ≈ 648 ₽ | $330–500 |
Цены ElevenLabs взяты из сторонних обзоров тарифов API на октябрь 2026, за каждый целевой язык отдельно. Проверьте актуальные на сайте сервиса. Оплатить зарубежный сервис из России с российской карты, как правило, нельзя, а на своей GPU платите только за минуты работы.
Готовый сервис выигрывает на малых объёмах: один ролик в месяц проще загрузить в браузер. На десятках роликов и при дубляже на несколько языков своя связка дешевле в разы и даёт полный контроль над переводом и голосом.
Где теряется качество
Ошибки распознавания. Имена, термины, аббревиатуры. Решается правкой субтитров или подсказкой Whisper через параметр initial_prompt со списком терминов.
Слишком длинный перевод. Самая частая причина «скороговорки». Сокращайте на шаге перевода, а не ускорением.
Плохой образец голоса. Музыка, эхо, второй голос в образце переносятся в клон. Потратьте минуту на выбор чистого фрагмента.
Несколько спикеров. Если в ролике говорят двое и больше, сначала разделите речь по спикерам (диаризация, например pyannote) и клонируйте каждый голос отдельно.
Интонация. TTS читает ровнее живого человека. Для эмоциональных роликов попробуйте несколько вариантов фразы и выберите лучший: на GPU это стоит копейки.
Как обрабатывать пачку роликов
Ручной запуск шагов подходит для первого ролика. Дальше выгоднее собрать конвейер в один скрипт, который берёт все файлы из папки и прогоняет их без вашего участия.
Схема простая:
- Очередь файлов. Скрипт проходит по папке
/workspace/inputи для каждого ролика создаёт отдельную рабочую папку. - Модели загружаются один раз. Whisper, переводчик и TTS поднимаются в начале и остаются в памяти, пока не обработаны все ролики. Перезагрузка моделей для каждого файла съедает минуты.
- Промежуточные файлы сохраняются. Текст с таймкодами, перевод и озвученные фразы лежат на диске. Если на каком-то шаге что-то пошло не так, вы перезапускаете только его, а не весь ролик.
- Проверка человеком в середине. Остановите конвейер после перевода и просмотрите тексты: это самый дешёвый момент для правок. Озвучка и сведение после этого идут автоматически.
- Результаты сразу в хранилище. Готовые ролики выгружаются в облако, чтобы после остановки сервера ничего не потерялось.
Для дубляжа на несколько языков распознавание и разделение дорожек делаются один раз, а перевод и озвучка — для каждого языка отдельно. Поэтому второй и третий языки обходятся дешевле первого: примерно в 2–4 минуты работы карты на десятиминутный ролик.
Если ролики приходят постоянно, а не пачками, держать сервер включённым незачем. Копите файлы и запускайте обработку раз в день или раз в неделю: так вы платите только за минуты реальной работы, а время на установку окружения делится на все ролики сессии.
Дубляж видео нейросетью — это Demucs, Whisper, LLM-переводчик и TTS с клоном голоса, которые помещаются на одну карту от 16 ГБ. Ролик на 10 минут обрабатывается за 5–10 минут работы RTX 4090, сто минут видео — примерно за 81 ₽. Главное для качества — переводить с оглядкой на длину фраз и брать чистый образец голоса, для законности — согласие владельца голоса и подходящая лицензия модели.
Соберите связку на аренде RTX 4090 и прогоните первый ролик за одну сессию.