Логотип Терафермы Тераферма Регистрация

18 ноября 2026 г. · Анатолий Крылов, редактор Терафермы

Дообучение Whisper под русскую речь: свои записи, термины и цена на GPU

Микрофон и наушники рядом с видеокартой, звуковая волна превращается в листы текста — дообучение Whisper под русскую речь

Дообучение Whisper под русскую речь окупается, когда базовая модель путает ваши термины, фамилии и названия: на 30–100 часах своих размеченных записей ошибок становится заметно меньше. По времени это около 2–3 часов на A100 для large-v3 и 50 часов аудио, то есть порядка 385 ₽ на Тераферме. Облегчённую large-v3-turbo можно дообучить и на RTX 4090 с 24 ГБ.

Когда дообучать, а когда нет

Whisper large-v3 обучен на огромном многоязычном корпусе, и обычную русскую речь распознаёт хорошо. Проблемы начинаются в трёх случаях:

  • Узкая лексика. Медицинские термины, юридические формулировки, названия лекарств, артикулы, жаргон отрасли.
  • Имена собственные. Фамилии клиентов, названия компаний и продуктов, которых модель не слышала.
  • Сложная акустика. Телефонный звук 8 кГц, шумный цех, сильный акцент, перекрёстная речь.

Перед дообучением попробуйте два дешёвых способа:

  1. Подсказка. У Whisper есть параметр initial_prompt: передайте в него фразу со списком терминов и имён. Модель начинает писать их правильно. Работает без обучения, но список ограничен длиной подсказки.
  2. Постобработка. Замена типичных ошибок словарём или проверка текста языковой моделью.

Если после этого ошибок по-прежнему много, пора дообучать. Как запускать Whisper для обычной расшифровки и сколько это стоит, разобрано в статье Whisper: транскрибация на GPU.

Какую модель Whisper дообучать

Модель Параметры Скорость распознавания Когда брать
large-v3 ~1,55 млрд Базовая Максимальное качество, есть 48+ ГБ под обучение
large-v3-turbo ~0,8 млрд В несколько раз быстрее large-v3 Большие объёмы распознавания, обучение на 24 ГБ
medium ~0,77 млрд Быстрее large Слабое железо для работы модели после обучения
small ~0,24 млрд Очень быстрая Эксперименты и встраиваемые устройства

У turbo урезан декодер, но энкодер полный, поэтому качество распознавания близко к large-v3. Если после обучения модель будет расшифровывать тысячи часов, turbo экономит деньги уже на этапе работы. Для максимального качества на сложном аудио берите large-v3.

Как подготовить данные

Данные для Whisper состоят из пар «аудиофрагмент до 30 секунд + точная расшифровка».

Откуда взять расшифровки. Самый быстрый путь:

  1. Прогоните записи через базовый Whisper, чтобы получить черновой текст с таймкодами.
  2. Исправьте ошибки вручную. Это основная работа: на час аудио уходит 2–4 часа редактуры, в зависимости от качества звука.
  3. Нарежьте записи по таймкодам на фрагменты 5–30 секунд.

Правила разметки:

  • Пишите так, как хотите видеть результат: с пунктуацией, заглавными буквами и цифрами или словами. Главное: единообразно.
  • Термины и имена пишите строго в одном написании.
  • Невнятные места лучше выкинуть, чем угадывать. Модель выучит ошибку как правильный ответ.
  • Отложите 10% записей на проверку и не используйте их в обучении.

Смешивайте с общими данными. Если обучать только на узком домене, модель может начать хуже распознавать обычную речь. Добавьте 20–30% общих русских записей из открытых наборов, например Common Voice. У открытых корпусов разные лицензии: перед коммерческим использованием проверяйте условия каждого.

Формат звука. Whisper работает с моно 16 кГц. Конвертируйте заранее: ffmpeg -i in.mp3 -ac 1 -ar 16000 out.wav.

Сколько памяти и какая карта

Полное дообучение с оптимизатором AdamW в смешанной точности требует около 16 байт на параметр: на веса, градиенты и состояния оптимизатора. Плюс память на активации, которая растёт с размером батча.

Режим large-v3 large-v3-turbo
Полное дообучение, AdamW ~25 ГБ + активации, на практике 35–45 ГБ ~13 ГБ + активации, 18–24 ГБ
Полное, 8-битный AdamW + чекпойнтинг Помещается в 24 ГБ с малым батчем 12–16 ГБ
LoRA 10–16 ГБ 8–12 ГБ

Это оценка по формуле и опубликованным замерам: в одном исследовании полное обучение large-v3 на A100 80 ГБ занимало до 37 ГБ. Реальный пик зависит от батча и длины фрагментов, поэтому проверяйте на первых шагах через nvidia-smi.

Что брать в аренду:

Карта Память Что удобно Цена на Тераферме, ₽/час
RTX 3090 24 ГБ LoRA, turbo, отладка 34
RTX 4090 24 ГБ То же, заметно быстрее 54
RTX A6000 48 ГБ Полное дообучение large-v3 69
L40S 48 ГБ Полное large-v3, быстрее A6000 105
A100 80 ГБ 80 ГБ Полное large-v3 с большим батчем 154

Для полного дообучения large-v3 с запасом по батчу удобнее всего A100 в аренду: 80 ГБ хватает и на большой батч, и на длинные фрагменты.

H100 для Whisper обычно избыточна: модель маленькая, и карта будет недогружена.

LoRA или полное дообучение

LoRA обучает небольшие матрицы-адаптеры поверх замороженной модели. Плюсы: меньше памяти, быстрее, адаптер весит десятки мегабайт, а базовая модель не портится, поэтому меньше риск, что она разучится распознавать обычную речь. Хорошо подходит, когда нужно выучить словарь терминов и имён.

Полное дообучение меняет все веса. Оно нужно, когда меняется сама акустика: телефонный звук, шумное производство, сильный акцент. Эффект сильнее, но и риск переобучения выше, поэтому за качеством на общих данных нужно следить внимательнее.

Практичный порядок: сначала LoRA на RTX 4090 за час-два работы карты. Если WER на ваших записях упал недостаточно, переходите к полному дообучению на карте с 48–80 ГБ.

Сколько времени и денег

Ориентир по скорости. В опубликованном прогоне на Hugging Face large-v3 дообучали на A100 80 ГБ: 2 000 шагов с батчем 8, то есть 16 000 примеров, заняли около 67 минут. Это примерно 4 примера в секунду.

Формула:

часы обучения = число фрагментов × эпохи ÷ примеров в секунду ÷ 3600

стоимость = цена часа × (часы обучения + подготовка + проверка)

Пример: 50 часов записей, нарезанных на фрагменты по 15 секунд, дают около 12 000 примеров. За три эпохи это 36 000 примеров. При 4 примерах в секунду это около 9 000 секунд, или 2,5 часа.

Объём записей Примеров (по 15 с) 3 эпохи на A100 Стоимость обучения
10 часов ~2 400 ~0,5 ч 77 ₽
50 часов ~12 000 ~2,5 ч 385 ₽
100 часов ~24 000 ~5 ч 770 ₽
300 часов ~72 000 ~15 ч 2 310 ₽

Добавьте 20–30% на загрузку данных, проверку качества и один-два перезапуска с другими гиперпараметрами. Turbo обучается быстрее large-v3, LoRA — ещё быстрее, но точную скорость на своей карте замерьте на первых 100 шагах.

Для сравнения: самой дорогой частью проекта оказывается не GPU, а ручная правка расшифровок. 50 часов аудио превращаются в 100–200 часов редактуры. Вычисления на этом фоне — небольшая статья расходов.

Запуск на арендованной GPU

  1. Загрузите данные заранее. Архив WAV и CSV с расшифровками положите в облачное хранилище. 50 часов в 16 кГц моно весят около 6 ГБ.
  2. Запустите сервер с шаблоном PyTorch + CUDA + Jupyter. Пополнение баланса картой российского банка или криптовалютой от 500 ₽, оплата поминутная.
  3. Установите библиотеки: pip install transformers datasets accelerate evaluate jiwer peft bitsandbytes.
  4. Соберите датасет через datasets: колонка аудио с частотой 16 кГц и колонка текста.
  5. Обучите через Seq2SeqTrainer из transformers. Ключевые настройки: language="russian", task="transcribe", bf16=True, скорость обучения порядка 1e-5 для полного дообучения, gradient_checkpointing=True на 24 ГБ.
  6. Считайте WER на отложенных 10% каждые несколько сотен шагов. Если WER на общих данных растёт, а на ваших падает, добавьте общих записей или уменьшите число эпох.
  7. Выгрузите модель на Hugging Face или в хранилище и остановите сервер: диск удаляется при остановке.

Запускайте обучение внутри tmux: обрыв SSH не прервёт процесс.

Как проверить результат

Главная метрика — WER, доля ошибочных слов. Считайте её отдельно:

  • на ваших отложенных записях — должна заметно упасть;
  • на общем наборе русской речи — не должна заметно вырасти;
  • по списку терминов — сколько из них модель теперь пишет правильно.

Хорошая практика: сохранить таблицу «до и после» по всем трём проверкам и прогнать её снова после каждого нового обучения: так видно, помогает ли очередная порция данных или вы уже упёрлись в потолок и дальше нужно улучшать разметку, а не добавлять эпохи.

Если WER на ваших данных упал, а общий заметно вырос, модель переобучилась. Уменьшите число эпох, скорость обучения или добавьте общих данных.

Как использовать дообученную модель

Для быстрой работы сконвертируйте модель в формат CTranslate2 и запускайте через faster-whisper — он в разы быстрее стандартной реализации:

ct2-transformers-converter --model ./whisper-ru-ft \
  --output_dir ./whisper-ru-ft-ct2 --quantization float16

Дальше модель работает так же, как базовый Whisper. Шаблон запуска и подходящие карты собраны на странице запуск Whisper на GPU.

Частые ошибки

  • Плохая разметка. 10% ошибок в расшифровках дадут 10% ошибок, которые модель выучит.
  • Слишком много эпох. На маленьком датасете модель запоминает записи, а не учится. Следите за WER на отложенной части.
  • Только узкий домен. Без общих данных модель хуже распознаёт обычную речь.
  • Обучение на дорогой карте с первого раза. Отладьте скрипт на RTX 3090 на 1% данных, потом запускайте полный прогон на A100.
  • Забыть про чекпойнты. Сохраняйте их во внешнее хранилище: после остановки сервера диск удаляется.

Дообучение Whisper нужно, когда подсказка со словарём не спасает от ошибок на терминах, именах и сложной акустике. Технически это недорого: 50 часов своих записей и три эпохи — около 2,5 часа A100, а turbo и LoRA помещаются в 24 ГБ RTX 4090. Основная работа — качественная расшифровка, а не вычисления.

Подготовьте 10 часов размеченных записей и проверьте эффект на RTX 4090 в аренду с поминутной оплатой — это меньше часа работы карты.

Вопросы по теме

Зачем дообучать Whisper, если он и так понимает русский?

Базовый Whisper хорошо распознаёт обычную речь, но путает термины, названия продуктов, фамилии и узкую лексику — медицинскую, юридическую, техническую. Дообучение на своих записях с правильной расшифровкой снижает число ошибок именно на ваших данных. Если ошибок немного, сначала попробуйте подсказку со словарём терминов: это бесплатно.

Сколько данных нужно для дообучения Whisper?

Заметный эффект на терминах дают уже 5–10 часов размеченных записей. Для устойчивого улучшения на новом домене — шуме колл-центра, акценте, специальной лексике — ориентируйтесь на 30–100 часов. Важнее качество расшифровки: ошибки в разметке модель выучит вместе с правильными словами.

Какая видеокарта нужна для дообучения Whisper large-v3?

Для полного дообучения large-v3 удобна карта на 48–80 ГБ: A100, L40S или RTX A6000. На 24 ГБ (RTX 3090, RTX 4090) полное дообучение возможно с 8-битным оптимизатором и чекпойнтингом активаций, а LoRA и полное дообучение large-v3-turbo помещаются без ухищрений.

Сколько стоит дообучить Whisper на арендованной GPU?

Для 50 часов записей и трёх эпох — около 2,5 часа A100 по опубликованным замерам скорости, то есть около 385 ₽ на Тераферме, плюс 20–30% на подготовку и проверку. LoRA или turbo на RTX 4090 обходятся дешевле.

Читайте также

GRPO и RL-дообучение: как научить LLM рассуждать на арендованных GPU

GRPO-обучение модели 7B — от 15 ГБ видеопамяти с QLoRA и около 2 часов H100 на 500 шагов. Как работает метод из DeepSeek-R1, какие награды писать и сколько стоит.

VS Code Remote SSH и арендованная GPU: разработка как на своём ПК

VS Code Remote SSH подключается к арендованной GPU за 5 минут: код, терминал, отладчик и ноутбуки работают на сервере. Настройка, проброс портов и экономия.

Эмбеддинги на GPU: сколько стоит проиндексировать базу знаний для RAG

Эмбеддинги на GPU: 400 тыс. фрагментов по 512 токенов bge-m3 считает на RTX A6000 примерно за 25 минут. Формула, выбор модели и карты, цена индексации базы знаний.

Jupyter на арендованной GPU: 12 приёмов, чтобы не терять время и деньги

Jupyter на удалённом сервере с GPU: 12 приёмов — от проверочной ячейки до tmux, освобождения видеопамяти и уведомлений. Каждый экономит от минут до часов оплаты.

Подберите GPU

Все видеокарты каталога с поминутной оплатой в рублях.