20 ноября 2026 г. · Анатолий Крылов, редактор Терафермы
Jupyter на арендованной GPU: 12 приёмов, чтобы не терять время и деньги
Jupyter на удалённом сервере с GPU запускается быстрее всего: одна кнопка в кабинете, и через минуту вы пишете код в браузере на карте, которая стоит в другом городе. Но поминутная оплата делает дорогими привычки, безобидные на своём компьютере. Забытое обучение в ячейке, закрытая вкладка или забитая видеопамять стоят от 15 минут до нескольких часов оплаченного времени. Ниже 12 приёмов, которые эти потери убирают. Час A100 на Тераферме стоит 154 ₽, так что каждый из них окупается с первого применения.
Сколько стоят ошибки в Jupyter
Сначала о том, зачем это всё. Потери легко посчитать:
потери = цена часа × потерянные часы
| Ошибка | Типичная потеря | На RTX 4090 | На A100 |
|---|---|---|---|
| Ставили библиотеки после запуска | 15 мин | 14 ₽ | 39 ₽ |
| Ошибка CUDA out of memory, разбирались | 30 мин | 27 ₽ | 77 ₽ |
| Закрыли вкладку, обучение упало, начали заново | 2 ч | 108 ₽ | 308 ₽ |
| Обучение закончилось ночью, сервер работал до утра | 6 ч | 324 ₽ | 924 ₽ |
| Остановили сервер, не скачав результат, — всё заново | 3 ч | 162 ₽ | 462 ₽ |
Каждый приём ниже закрывает одну или несколько строк этой таблицы.
1. Первая ячейка проверяет машину
Если вы ещё не запускали сервер, начните с пошаговой инструкции первый запуск на арендованной GPU: ключ, пополнение, запуск и подключение.
Начинайте каждый ноутбук с одной и той же ячейки:
!nvidia-smi --query-gpu=name,memory.total,driver_version --format=csv
!df -h /workspace | tail -1
import torch; print(torch.__version__, torch.cuda.is_available(), torch.version.cuda)
За 5 секунд вы видите модель карты, объём памяти, место на диске и версию CUDA. Если диска мало или PyTorch не видит GPU, лучше узнать это сейчас, а не через час, когда модель не поместится или обучение пойдёт на процессоре.
2. Всё хранится в /workspace
Рабочая папка на Тераферме называется /workspace. Туда же направьте кеши, которые по умолчанию лезут в домашнюю папку:
import os
os.environ["HF_HOME"] = "/workspace/hf"
os.environ["TORCH_HOME"] = "/workspace/torch"
Так все скачанные модели лежат в одном месте, видны в файловом браузере Jupyter, и вы точно знаете, сколько места они занимают.
3. Ставьте пакеты через %pip, а не !pip
!pip install запускает pip из системной оболочки, и пакет может уйти не в то окружение, в котором работает ядро. %pip install ставит пакет именно в текущее ядро. После установки библиотек, которые уже были импортированы, перезапустите ядро.
Ещё лучше держать список пакетов в requirements.txt и одна ячейка %pip install -r requirements.txt в начале. А если пакетов много и ставятся они долго, соберите свой Docker-образ: на Тераферме можно запустить любой публичный образ из Docker Hub или GitHub Container Registry.
4. Долгое обучение запускайте не в ячейке
Это главный приём. Ячейка с обучением на 5 часов уязвима: закрыли вкладку, ноутбук уснул, пропал Wi-Fi — и вы не видите вывод, а при сбое ядра теряете всё.
Правильно так: код обучения лежит в файле train.py, а запускается он из терминала Jupyter (File → New → Terminal) внутри tmux:
tmux new -s train
python train.py 2>&1 | tee /workspace/train.log
Отключиться от сессии можно сочетанием Ctrl+B, затем D, вернуться командой tmux attach -t train. Процесс работает, даже если вы закрыли браузер. Лог дублируется в файл, который можно открыть в Jupyter в любой момент.
Ноутбук остаётся для того, в чём он хорош: эксперименты на маленьких данных, анализ результатов, графики.
5. Код держите в .py, ноутбук оставьте для запуска
Когда функции живут в ячейках, их легко сломать порядком выполнения. Вынесите их в модуль и включите автоперезагрузку:
%load_ext autoreload
%autoreload 2
from mylib import train_step, evaluate
Правите mylib.py, и изменения подхватываются без перезапуска ядра и без повторной загрузки модели в память. На большой модели это экономит минуты на каждой правке.
6. Освобождайте видеопамять правильно
Ошибка CUDA out of memory в Jupyter часто возникает не потому, что модель не помещается, а потому, что в памяти висит предыдущая.
import gc, torch
del model, optimizer
gc.collect()
torch.cuda.empty_cache()
print(torch.cuda.memory_allocated() / 1e9, "ГБ занято")
Если память не освобождается, её держит какая-то ссылка, например переменная с последним исключением. Надёжнее всего помогает Kernel → Restart Kernel. Проверить, какой процесс занимает карту, можно командой nvidia-smi в терминале.
7. Не перетаскивайте большие файлы
Перетаскивание в файловый браузер Jupyter подходит для скриптов и CSV до 1–2 ГБ. Большие данные загружайте иначе:
- модели и открытые датасеты —
hf downloadпрямо на сервер; - свои данные — заранее в S3-совместимое хранилище, а на сервер через
rclone; - архив с компьютера —
scpилиrsyncпо SSH-порту из карточки сервера.
Канал сервера обычно шире домашнего, а загрузка через браузер на гигабайтах часто обрывается.
8. Чекпойнты уходят наружу и по таймеру
Сохраняйте промежуточные результаты обучения каждые 20–30 минут и сразу копируйте их во внешнее хранилище. Если машина владельца отключится, простой не оплачивается и задачу можно перезапустить на другой машине, но без чекпойнта начинать придётся с нуля.
Для transformers это параметры save_steps и save_total_limit, для своего цикла — torch.save раз в N шагов плюс rclone copy в фоне.
9. Уведомление в Telegram в конце задачи
Чтобы не проверять обучение каждые полчаса и не забыть сервер на ночь, добавьте в конец скрипта сообщение себе:
import requests
requests.get(f"https://api.telegram.org/bot{TOKEN}/sendMessage",
params={"chat_id": CHAT_ID, "text": "Обучение закончено"})
Токен бота даёт @BotFather, свой chat_id можно узнать у любого бота-помощника. Храните токен в переменной окружения, а не в ноутбуке, который потом окажется в git.
Дополнительно на Тераферме работает уведомление о простое: если сервер запущен больше 2 часов, видеокарта почти не загружена, а в Jupyter давно нет активности, придёт подсказка в кабинет, Telegram и на почту. Автоматической остановки по простою нет: сервер выключается сам только при нулевом балансе. Как закрыть этот пробел, разобрано в статье как не платить за простой GPU.
10. Смотрите на загрузку карты
Карта, загруженная на 40%, стоит вам в 2,5 раза дороже за единицу работы. Держите в отдельном терминале Jupyter:
watch -n 2 nvidia-smi
Если утилизация GPU ниже 60–70%, карта ждёт данных. Увеличьте num_workers и размер батча в загрузчике, включите pin_memory=True, перенесите данные на локальный диск сервера. Для замера скорости отдельных шагов используйте %%time и %timeit прямо в ячейках.
11. Отлаживайте на дешёвой карте
Ошибка в коде одинаково видна на RTX 3090 за 34 ₽ и на H100 за 277–329 ₽ в час. Пишите и проверяйте ноутбук на недорогой карте, на маленькой модели и 1% данных. На дорогую переходите с работающим скриптом и запускайте его через tmux, а не в ячейке.
Если вы привыкли к IDE, для разработки удобнее подключить к серверу VS Code и открывать ноутбуки там, с автодополнением и отладчиком. Настройка описана в статье VS Code Remote SSH и арендованная GPU.
12. Сначала забрать результат, потом остановить
Остановка удаляет контейнер и диск, восстановить их нельзя. Порядок завершения работы:
- Сохраните ноутбуки (
Ctrl+S) и запушьте код в git. - Упакуйте результаты:
!cd /workspace && zip -r results.zip outputs/. - Скачайте небольшие файлы правым кликом → Download, большие —
scpили выгрузите в хранилище. - Проверьте, что файл у вас открывается.
- В карточке сервера нажмите «Остановить и завершить оплату».
Пункт 4 кажется лишним, пока однажды не окажется, что скачался архив на 0 байт.
Бонус: настройки Jupyter Lab, которые стоит включить
Несколько мелочей, которые делают работу на удалённом сервере спокойнее:
- Автосохранение. В Settings → Autosave Documents проверьте, что оно включено. Если вкладка упадёт, потеряете минуту работы, а не час.
- Отображение номеров строк. View → Show Line Numbers: трассировки ошибок указывают на строку, и её проще найти.
- Очистка вывода перед сохранением. Ноутбук с сотнями строк лога и большими картинками весит десятки мегабайт и медленно открывается через сеть. Edit → Clear All Outputs перед коммитом.
- Несколько терминалов во вкладках. Один — для
tmuxс обучением, второй — дляnvidia-smi, третий — для загрузки файлов. Jupyter Lab разрешает раскладывать их рядом с ноутбуком. - Файловый браузер вместо
ls. Двойной клик по CSV или картинке открывает их прямо в Jupyter, это удобно для быстрой проверки результатов без скачивания.
Шпаргалка
| Приём | Что экономит |
|---|---|
| Проверочная ячейка | Час работы на неподходящей машине |
| Кеши в /workspace | Путаницу с местом на диске |
| %pip вместо !pip | Перезапуски из-за «не того» окружения |
| Обучение в tmux | Часы обучения при обрыве связи |
| Код в .py + autoreload | Повторные загрузки модели |
| Правильная очистка VRAM | Полчаса на «out of memory» |
| Загрузка через hf / rclone | Оборванные загрузки через браузер |
| Чекпойнты наружу | Прогресс при отключении машины |
| Уведомление в Telegram | Ночь работы пустого сервера |
| Мониторинг загрузки | Переплату за недогруженную карту |
| Отладка на дешёвой карте | Дорогие часы на поиск ошибок |
| Сначала результат, потом стоп | Повторение всей работы |
Jupyter на удалённом сервере удобен ровно настолько, насколько вы готовы к поминутной оплате: проверка машины в первой ячейке, обучение в tmux вместо ячейки, чекпойнты во внешнем хранилище, уведомление о завершении и остановка сервера сразу после выгрузки результатов. Эти 12 приёмов почти ничего не стоят, а убирают самые дорогие ошибки.
Откройте Jupyter на недорогой карте и проверьте приёмы на своём проекте: почасовая аренда GPU с поминутной оплатой.