18 ноября 2026 г. · Анатолий Крылов, редактор Терафермы
Дообучение Whisper под русскую речь: свои записи, термины и цена на GPU
Дообучение Whisper под русскую речь окупается, когда базовая модель путает ваши термины, фамилии и названия: на 30–100 часах своих размеченных записей ошибок становится заметно меньше. По времени это около 2–3 часов на A100 для large-v3 и 50 часов аудио, то есть порядка 385 ₽ на Тераферме. Облегчённую large-v3-turbo можно дообучить и на RTX 4090 с 24 ГБ.
Когда дообучать, а когда нет
Whisper large-v3 обучен на огромном многоязычном корпусе, и обычную русскую речь распознаёт хорошо. Проблемы начинаются в трёх случаях:
- Узкая лексика. Медицинские термины, юридические формулировки, названия лекарств, артикулы, жаргон отрасли.
- Имена собственные. Фамилии клиентов, названия компаний и продуктов, которых модель не слышала.
- Сложная акустика. Телефонный звук 8 кГц, шумный цех, сильный акцент, перекрёстная речь.
Перед дообучением попробуйте два дешёвых способа:
- Подсказка. У Whisper есть параметр
initial_prompt: передайте в него фразу со списком терминов и имён. Модель начинает писать их правильно. Работает без обучения, но список ограничен длиной подсказки. - Постобработка. Замена типичных ошибок словарём или проверка текста языковой моделью.
Если после этого ошибок по-прежнему много, пора дообучать. Как запускать Whisper для обычной расшифровки и сколько это стоит, разобрано в статье Whisper: транскрибация на GPU.
Какую модель Whisper дообучать
| Модель | Параметры | Скорость распознавания | Когда брать |
|---|---|---|---|
| large-v3 | ~1,55 млрд | Базовая | Максимальное качество, есть 48+ ГБ под обучение |
| large-v3-turbo | ~0,8 млрд | В несколько раз быстрее large-v3 | Большие объёмы распознавания, обучение на 24 ГБ |
| medium | ~0,77 млрд | Быстрее large | Слабое железо для работы модели после обучения |
| small | ~0,24 млрд | Очень быстрая | Эксперименты и встраиваемые устройства |
У turbo урезан декодер, но энкодер полный, поэтому качество распознавания близко к large-v3. Если после обучения модель будет расшифровывать тысячи часов, turbo экономит деньги уже на этапе работы. Для максимального качества на сложном аудио берите large-v3.
Как подготовить данные
Данные для Whisper состоят из пар «аудиофрагмент до 30 секунд + точная расшифровка».
Откуда взять расшифровки. Самый быстрый путь:
- Прогоните записи через базовый Whisper, чтобы получить черновой текст с таймкодами.
- Исправьте ошибки вручную. Это основная работа: на час аудио уходит 2–4 часа редактуры, в зависимости от качества звука.
- Нарежьте записи по таймкодам на фрагменты 5–30 секунд.
Правила разметки:
- Пишите так, как хотите видеть результат: с пунктуацией, заглавными буквами и цифрами или словами. Главное: единообразно.
- Термины и имена пишите строго в одном написании.
- Невнятные места лучше выкинуть, чем угадывать. Модель выучит ошибку как правильный ответ.
- Отложите 10% записей на проверку и не используйте их в обучении.
Смешивайте с общими данными. Если обучать только на узком домене, модель может начать хуже распознавать обычную речь. Добавьте 20–30% общих русских записей из открытых наборов, например Common Voice. У открытых корпусов разные лицензии: перед коммерческим использованием проверяйте условия каждого.
Формат звука. Whisper работает с моно 16 кГц. Конвертируйте заранее: ffmpeg -i in.mp3 -ac 1 -ar 16000 out.wav.
Сколько памяти и какая карта
Полное дообучение с оптимизатором AdamW в смешанной точности требует около 16 байт на параметр: на веса, градиенты и состояния оптимизатора. Плюс память на активации, которая растёт с размером батча.
| Режим | large-v3 | large-v3-turbo |
|---|---|---|
| Полное дообучение, AdamW | ~25 ГБ + активации, на практике 35–45 ГБ | ~13 ГБ + активации, 18–24 ГБ |
| Полное, 8-битный AdamW + чекпойнтинг | Помещается в 24 ГБ с малым батчем | 12–16 ГБ |
| LoRA | 10–16 ГБ | 8–12 ГБ |
Это оценка по формуле и опубликованным замерам: в одном исследовании полное обучение large-v3 на A100 80 ГБ занимало до 37 ГБ. Реальный пик зависит от батча и длины фрагментов, поэтому проверяйте на первых шагах через nvidia-smi.
Что брать в аренду:
| Карта | Память | Что удобно | Цена на Тераферме, ₽/час |
|---|---|---|---|
| RTX 3090 | 24 ГБ | LoRA, turbo, отладка | 34 |
| RTX 4090 | 24 ГБ | То же, заметно быстрее | 54 |
| RTX A6000 | 48 ГБ | Полное дообучение large-v3 | 69 |
| L40S | 48 ГБ | Полное large-v3, быстрее A6000 | 105 |
| A100 80 ГБ | 80 ГБ | Полное large-v3 с большим батчем | 154 |
Для полного дообучения large-v3 с запасом по батчу удобнее всего A100 в аренду: 80 ГБ хватает и на большой батч, и на длинные фрагменты.
H100 для Whisper обычно избыточна: модель маленькая, и карта будет недогружена.
LoRA или полное дообучение
LoRA обучает небольшие матрицы-адаптеры поверх замороженной модели. Плюсы: меньше памяти, быстрее, адаптер весит десятки мегабайт, а базовая модель не портится, поэтому меньше риск, что она разучится распознавать обычную речь. Хорошо подходит, когда нужно выучить словарь терминов и имён.
Полное дообучение меняет все веса. Оно нужно, когда меняется сама акустика: телефонный звук, шумное производство, сильный акцент. Эффект сильнее, но и риск переобучения выше, поэтому за качеством на общих данных нужно следить внимательнее.
Практичный порядок: сначала LoRA на RTX 4090 за час-два работы карты. Если WER на ваших записях упал недостаточно, переходите к полному дообучению на карте с 48–80 ГБ.
Сколько времени и денег
Ориентир по скорости. В опубликованном прогоне на Hugging Face large-v3 дообучали на A100 80 ГБ: 2 000 шагов с батчем 8, то есть 16 000 примеров, заняли около 67 минут. Это примерно 4 примера в секунду.
Формула:
часы обучения = число фрагментов × эпохи ÷ примеров в секунду ÷ 3600
стоимость = цена часа × (часы обучения + подготовка + проверка)
Пример: 50 часов записей, нарезанных на фрагменты по 15 секунд, дают около 12 000 примеров. За три эпохи это 36 000 примеров. При 4 примерах в секунду это около 9 000 секунд, или 2,5 часа.
| Объём записей | Примеров (по 15 с) | 3 эпохи на A100 | Стоимость обучения |
|---|---|---|---|
| 10 часов | ~2 400 | ~0,5 ч | 77 ₽ |
| 50 часов | ~12 000 | ~2,5 ч | 385 ₽ |
| 100 часов | ~24 000 | ~5 ч | 770 ₽ |
| 300 часов | ~72 000 | ~15 ч | 2 310 ₽ |
Добавьте 20–30% на загрузку данных, проверку качества и один-два перезапуска с другими гиперпараметрами. Turbo обучается быстрее large-v3, LoRA — ещё быстрее, но точную скорость на своей карте замерьте на первых 100 шагах.
Для сравнения: самой дорогой частью проекта оказывается не GPU, а ручная правка расшифровок. 50 часов аудио превращаются в 100–200 часов редактуры. Вычисления на этом фоне — небольшая статья расходов.
Запуск на арендованной GPU
- Загрузите данные заранее. Архив WAV и CSV с расшифровками положите в облачное хранилище. 50 часов в 16 кГц моно весят около 6 ГБ.
- Запустите сервер с шаблоном PyTorch + CUDA + Jupyter. Пополнение баланса картой российского банка или криптовалютой от 500 ₽, оплата поминутная.
- Установите библиотеки:
pip install transformers datasets accelerate evaluate jiwer peft bitsandbytes. - Соберите датасет через
datasets: колонка аудио с частотой 16 кГц и колонка текста. - Обучите через
Seq2SeqTrainerиз transformers. Ключевые настройки:language="russian",task="transcribe",bf16=True, скорость обучения порядка 1e-5 для полного дообучения,gradient_checkpointing=Trueна 24 ГБ. - Считайте WER на отложенных 10% каждые несколько сотен шагов. Если WER на общих данных растёт, а на ваших падает, добавьте общих записей или уменьшите число эпох.
- Выгрузите модель на Hugging Face или в хранилище и остановите сервер: диск удаляется при остановке.
Запускайте обучение внутри tmux: обрыв SSH не прервёт процесс.
Как проверить результат
Главная метрика — WER, доля ошибочных слов. Считайте её отдельно:
- на ваших отложенных записях — должна заметно упасть;
- на общем наборе русской речи — не должна заметно вырасти;
- по списку терминов — сколько из них модель теперь пишет правильно.
Хорошая практика: сохранить таблицу «до и после» по всем трём проверкам и прогнать её снова после каждого нового обучения: так видно, помогает ли очередная порция данных или вы уже упёрлись в потолок и дальше нужно улучшать разметку, а не добавлять эпохи.
Если WER на ваших данных упал, а общий заметно вырос, модель переобучилась. Уменьшите число эпох, скорость обучения или добавьте общих данных.
Как использовать дообученную модель
Для быстрой работы сконвертируйте модель в формат CTranslate2 и запускайте через faster-whisper — он в разы быстрее стандартной реализации:
ct2-transformers-converter --model ./whisper-ru-ft \
--output_dir ./whisper-ru-ft-ct2 --quantization float16
Дальше модель работает так же, как базовый Whisper. Шаблон запуска и подходящие карты собраны на странице запуск Whisper на GPU.
Частые ошибки
- Плохая разметка. 10% ошибок в расшифровках дадут 10% ошибок, которые модель выучит.
- Слишком много эпох. На маленьком датасете модель запоминает записи, а не учится. Следите за WER на отложенной части.
- Только узкий домен. Без общих данных модель хуже распознаёт обычную речь.
- Обучение на дорогой карте с первого раза. Отладьте скрипт на RTX 3090 на 1% данных, потом запускайте полный прогон на A100.
- Забыть про чекпойнты. Сохраняйте их во внешнее хранилище: после остановки сервера диск удаляется.
Дообучение Whisper нужно, когда подсказка со словарём не спасает от ошибок на терминах, именах и сложной акустике. Технически это недорого: 50 часов своих записей и три эпохи — около 2,5 часа A100, а turbo и LoRA помещаются в 24 ГБ RTX 4090. Основная работа — качественная расшифровка, а не вычисления.
Подготовьте 10 часов размеченных записей и проверьте эффект на RTX 4090 в аренду с поминутной оплатой — это меньше часа работы карты.