Логотип Терафермы Тераферма Регистрация

20 ноября 2026 г. · Анатолий Крылов, редактор Терафермы

Jupyter на арендованной GPU: 12 приёмов, чтобы не терять время и деньги

Ноутбук с ячейками кода и графиком, песочные часы и монеты у сервера с видеокартой — Jupyter на удалённом сервере с GPU

Jupyter на удалённом сервере с GPU запускается быстрее всего: одна кнопка в кабинете, и через минуту вы пишете код в браузере на карте, которая стоит в другом городе. Но поминутная оплата делает дорогими привычки, безобидные на своём компьютере. Забытое обучение в ячейке, закрытая вкладка или забитая видеопамять стоят от 15 минут до нескольких часов оплаченного времени. Ниже 12 приёмов, которые эти потери убирают. Час A100 на Тераферме стоит 154 ₽, так что каждый из них окупается с первого применения.

Сколько стоят ошибки в Jupyter

Сначала о том, зачем это всё. Потери легко посчитать:

потери = цена часа × потерянные часы

Ошибка Типичная потеря На RTX 4090 На A100
Ставили библиотеки после запуска 15 мин 14 ₽ 39 ₽
Ошибка CUDA out of memory, разбирались 30 мин 27 ₽ 77 ₽
Закрыли вкладку, обучение упало, начали заново 2 ч 108 ₽ 308 ₽
Обучение закончилось ночью, сервер работал до утра 6 ч 324 ₽ 924 ₽
Остановили сервер, не скачав результат, — всё заново 3 ч 162 ₽ 462 ₽

Каждый приём ниже закрывает одну или несколько строк этой таблицы.

1. Первая ячейка проверяет машину

Если вы ещё не запускали сервер, начните с пошаговой инструкции первый запуск на арендованной GPU: ключ, пополнение, запуск и подключение.

Начинайте каждый ноутбук с одной и той же ячейки:

!nvidia-smi --query-gpu=name,memory.total,driver_version --format=csv
!df -h /workspace | tail -1
import torch; print(torch.__version__, torch.cuda.is_available(), torch.version.cuda)

За 5 секунд вы видите модель карты, объём памяти, место на диске и версию CUDA. Если диска мало или PyTorch не видит GPU, лучше узнать это сейчас, а не через час, когда модель не поместится или обучение пойдёт на процессоре.

2. Всё хранится в /workspace

Рабочая папка на Тераферме называется /workspace. Туда же направьте кеши, которые по умолчанию лезут в домашнюю папку:

import os
os.environ["HF_HOME"] = "/workspace/hf"
os.environ["TORCH_HOME"] = "/workspace/torch"

Так все скачанные модели лежат в одном месте, видны в файловом браузере Jupyter, и вы точно знаете, сколько места они занимают.

3. Ставьте пакеты через %pip, а не !pip

!pip install запускает pip из системной оболочки, и пакет может уйти не в то окружение, в котором работает ядро. %pip install ставит пакет именно в текущее ядро. После установки библиотек, которые уже были импортированы, перезапустите ядро.

Ещё лучше держать список пакетов в requirements.txt и одна ячейка %pip install -r requirements.txt в начале. А если пакетов много и ставятся они долго, соберите свой Docker-образ: на Тераферме можно запустить любой публичный образ из Docker Hub или GitHub Container Registry.

4. Долгое обучение запускайте не в ячейке

Это главный приём. Ячейка с обучением на 5 часов уязвима: закрыли вкладку, ноутбук уснул, пропал Wi-Fi — и вы не видите вывод, а при сбое ядра теряете всё.

Правильно так: код обучения лежит в файле train.py, а запускается он из терминала Jupyter (File → New → Terminal) внутри tmux:

tmux new -s train
python train.py 2>&1 | tee /workspace/train.log

Отключиться от сессии можно сочетанием Ctrl+B, затем D, вернуться командой tmux attach -t train. Процесс работает, даже если вы закрыли браузер. Лог дублируется в файл, который можно открыть в Jupyter в любой момент.

Ноутбук остаётся для того, в чём он хорош: эксперименты на маленьких данных, анализ результатов, графики.

5. Код держите в .py, ноутбук оставьте для запуска

Когда функции живут в ячейках, их легко сломать порядком выполнения. Вынесите их в модуль и включите автоперезагрузку:

%load_ext autoreload
%autoreload 2
from mylib import train_step, evaluate

Правите mylib.py, и изменения подхватываются без перезапуска ядра и без повторной загрузки модели в память. На большой модели это экономит минуты на каждой правке.

6. Освобождайте видеопамять правильно

Ошибка CUDA out of memory в Jupyter часто возникает не потому, что модель не помещается, а потому, что в памяти висит предыдущая.

import gc, torch
del model, optimizer
gc.collect()
torch.cuda.empty_cache()
print(torch.cuda.memory_allocated() / 1e9, "ГБ занято")

Если память не освобождается, её держит какая-то ссылка, например переменная с последним исключением. Надёжнее всего помогает Kernel → Restart Kernel. Проверить, какой процесс занимает карту, можно командой nvidia-smi в терминале.

7. Не перетаскивайте большие файлы

Перетаскивание в файловый браузер Jupyter подходит для скриптов и CSV до 1–2 ГБ. Большие данные загружайте иначе:

  • модели и открытые датасеты — hf download прямо на сервер;
  • свои данные — заранее в S3-совместимое хранилище, а на сервер через rclone;
  • архив с компьютера — scp или rsync по SSH-порту из карточки сервера.

Канал сервера обычно шире домашнего, а загрузка через браузер на гигабайтах часто обрывается.

8. Чекпойнты уходят наружу и по таймеру

Сохраняйте промежуточные результаты обучения каждые 20–30 минут и сразу копируйте их во внешнее хранилище. Если машина владельца отключится, простой не оплачивается и задачу можно перезапустить на другой машине, но без чекпойнта начинать придётся с нуля.

Для transformers это параметры save_steps и save_total_limit, для своего цикла — torch.save раз в N шагов плюс rclone copy в фоне.

9. Уведомление в Telegram в конце задачи

Чтобы не проверять обучение каждые полчаса и не забыть сервер на ночь, добавьте в конец скрипта сообщение себе:

import requests
requests.get(f"https://api.telegram.org/bot{TOKEN}/sendMessage",
             params={"chat_id": CHAT_ID, "text": "Обучение закончено"})

Токен бота даёт @BotFather, свой chat_id можно узнать у любого бота-помощника. Храните токен в переменной окружения, а не в ноутбуке, который потом окажется в git.

Дополнительно на Тераферме работает уведомление о простое: если сервер запущен больше 2 часов, видеокарта почти не загружена, а в Jupyter давно нет активности, придёт подсказка в кабинет, Telegram и на почту. Автоматической остановки по простою нет: сервер выключается сам только при нулевом балансе. Как закрыть этот пробел, разобрано в статье как не платить за простой GPU.

10. Смотрите на загрузку карты

Карта, загруженная на 40%, стоит вам в 2,5 раза дороже за единицу работы. Держите в отдельном терминале Jupyter:

watch -n 2 nvidia-smi

Если утилизация GPU ниже 60–70%, карта ждёт данных. Увеличьте num_workers и размер батча в загрузчике, включите pin_memory=True, перенесите данные на локальный диск сервера. Для замера скорости отдельных шагов используйте %%time и %timeit прямо в ячейках.

11. Отлаживайте на дешёвой карте

Ошибка в коде одинаково видна на RTX 3090 за 34 ₽ и на H100 за 277–329 ₽ в час. Пишите и проверяйте ноутбук на недорогой карте, на маленькой модели и 1% данных. На дорогую переходите с работающим скриптом и запускайте его через tmux, а не в ячейке.

Если вы привыкли к IDE, для разработки удобнее подключить к серверу VS Code и открывать ноутбуки там, с автодополнением и отладчиком. Настройка описана в статье VS Code Remote SSH и арендованная GPU.

12. Сначала забрать результат, потом остановить

Остановка удаляет контейнер и диск, восстановить их нельзя. Порядок завершения работы:

  1. Сохраните ноутбуки (Ctrl+S) и запушьте код в git.
  2. Упакуйте результаты: !cd /workspace && zip -r results.zip outputs/.
  3. Скачайте небольшие файлы правым кликом → Download, большие — scp или выгрузите в хранилище.
  4. Проверьте, что файл у вас открывается.
  5. В карточке сервера нажмите «Остановить и завершить оплату».

Пункт 4 кажется лишним, пока однажды не окажется, что скачался архив на 0 байт.

Бонус: настройки Jupyter Lab, которые стоит включить

Несколько мелочей, которые делают работу на удалённом сервере спокойнее:

  • Автосохранение. В Settings → Autosave Documents проверьте, что оно включено. Если вкладка упадёт, потеряете минуту работы, а не час.
  • Отображение номеров строк. View → Show Line Numbers: трассировки ошибок указывают на строку, и её проще найти.
  • Очистка вывода перед сохранением. Ноутбук с сотнями строк лога и большими картинками весит десятки мегабайт и медленно открывается через сеть. Edit → Clear All Outputs перед коммитом.
  • Несколько терминалов во вкладках. Один — для tmux с обучением, второй — для nvidia-smi, третий — для загрузки файлов. Jupyter Lab разрешает раскладывать их рядом с ноутбуком.
  • Файловый браузер вместо ls. Двойной клик по CSV или картинке открывает их прямо в Jupyter, это удобно для быстрой проверки результатов без скачивания.

Шпаргалка

Приём Что экономит
Проверочная ячейка Час работы на неподходящей машине
Кеши в /workspace Путаницу с местом на диске
%pip вместо !pip Перезапуски из-за «не того» окружения
Обучение в tmux Часы обучения при обрыве связи
Код в .py + autoreload Повторные загрузки модели
Правильная очистка VRAM Полчаса на «out of memory»
Загрузка через hf / rclone Оборванные загрузки через браузер
Чекпойнты наружу Прогресс при отключении машины
Уведомление в Telegram Ночь работы пустого сервера
Мониторинг загрузки Переплату за недогруженную карту
Отладка на дешёвой карте Дорогие часы на поиск ошибок
Сначала результат, потом стоп Повторение всей работы

Jupyter на удалённом сервере удобен ровно настолько, насколько вы готовы к поминутной оплате: проверка машины в первой ячейке, обучение в tmux вместо ячейки, чекпойнты во внешнем хранилище, уведомление о завершении и остановка сервера сразу после выгрузки результатов. Эти 12 приёмов почти ничего не стоят, а убирают самые дорогие ошибки.

Откройте Jupyter на недорогой карте и проверьте приёмы на своём проекте: почасовая аренда GPU с поминутной оплатой.

Вопросы по теме

Как открыть Jupyter на удалённом сервере с GPU?

На Тераферме — кнопкой «Открыть Jupyter» в карточке запущенного сервера. Браузер предупредит о сертификате: нажмите «Дополнительно» → «Перейти на сайт». Рабочая папка — /workspace. Если нужен Jupyter в своём редакторе, подключитесь по SSH из VS Code и выберите ядро Python на сервере.

Что будет с обучением, если закрыть вкладку Jupyter?

Ядро продолжит работать, но вывод ячейки, который появился после закрытия, в ноутбук может не попасть: прогресс и ошибки вы не увидите. Поэтому долгие задачи лучше запускать скриптом в tmux из терминала Jupyter и писать лог в файл, а ноутбук использовать для экспериментов и анализа.

Как освободить видеопамять в Jupyter без перезапуска?

Удалите ссылки на модель и тензоры командой del, затем вызовите gc.collect() и torch.cuda.empty_cache(). Если память всё равно занята — например, её держит исключение в переменной последней ошибки, — надёжнее перезапустить ядро: Kernel → Restart Kernel.

Сохраняются ли ноутбуки после остановки сервера?

Нет. При остановке контейнер и его диск удаляются. Скачайте ноутбуки и результаты или запушьте их в git до остановки. Плата за хранение не списывается, но и восстановить удалённые файлы нельзя.

Подберите GPU

Все видеокарты каталога с поминутной оплатой в рублях.