4 ноября 2026 г. · Анатолий Крылов, редактор Терафермы
Как загрузить датасет на сервер с GPU: rsync, rclone и S3 без лишних часов
Загрузить датасет на сервер с GPU быстрее всего не с домашнего компьютера, а из облачного хранилища или с Hugging Face: 100 ГБ по каналу дата-центра на 1 Гбит/с приходят примерно за 14 минут, а по домашнему исходящему каналу 100 Мбит/с — за 2,3 часа. Всё это время сервер работает и списывает деньги. На RTX 4090 за 54 ₽/час разница составляет 108 ₽ на одной загрузке, на H100 — 554–658 ₽.
Плюс приёмы, которые ускоряют копирование в разы без смены канала.
Почему перенос данных — это деньги
Аренда поминутная: счётчик идёт с момента, когда сервер готов, и до остановки. Видеокарте всё равно, считает она модель или ждёт, пока докачается архив. Поэтому каждая минута копирования стоит столько же, сколько минута обучения.
Время передачи считается просто:
Часы = размер, ГБ × 8 ÷ скорость, Мбит/с ÷ 3 600 × 1 000
Или короче: часы = ГБ × 8 ÷ Мбит/с ÷ 3,6. Множитель 8 переводит байты в биты. Реальная скорость обычно на 10–30% ниже тарифной из-за протокола, шифрования SSH и нагрузки на диски, так что результат даёт нижнюю границу.
| Размер датасета | 50 Мбит/с | 100 Мбит/с | 500 Мбит/с | 1 Гбит/с |
|---|---|---|---|---|
| 10 ГБ | 27 мин | 13 мин | 3 мин | 1,3 мин |
| 50 ГБ | 2,2 ч | 1,1 ч | 13 мин | 7 мин |
| 200 ГБ | 8,9 ч | 4,4 ч | 53 мин | 27 мин |
| 1 ТБ | 44 ч | 22 ч | 4,4 ч | 2,2 ч |
У домашнего интернета есть подвох: тариф «500 Мбит/с» почти всегда про входящую скорость. Исходящая, через которую вы отправляете файлы на сервер, у многих провайдеров заметно ниже. Проверьте её на любом спидтесте перед тем, как планировать перенос.
Пример. Датасет 200 ГБ, исходящий канал 100 Мбит/с, сервер с H100. Заливка с компьютера займёт около 4,4 часа и обойдётся в 1 219–1 448 ₽, а это больше, чем стоит иное дообучение. Тот же датасет из облачного хранилища на скорости 1 Гбит/с придёт за полчаса: 139–165 ₽.
Главное правило: данные — заранее, GPU — потом
Самая дорогая ошибка: запустить мощную карту и только потом начать заливать на неё данные. Правильный порядок другой:
- Положите датасет в хранилище до аренды. S3-совместимое облачное хранилище, приватный репозиторий датасета на Hugging Face или свой сервер с хорошим каналом. Эта заливка идёт с вашего компьютера в удобное время и за GPU не платится.
- На сервере скачивайте, а не принимайте. Канал машины в дата-центре обычно шире домашнего, а входящий трафик на сервер быстрее, чем ваш исходящий.
- Готовьте окружение на дешёвой карте. Если нужно проверить, что данные распаковались и скрипт их читает, сделайте это на RTX 3060 за 13 ₽/час, а не на H100.
Как подключиться к серверу по SSH и где взять порт, разобрано в статье первый запуск на арендованной GPU. Дальше считаем, что вы уже в терминале сервера, а рабочей папкой служит /workspace. Конфигурации с большим диском и быстрым каналом ищите в разделе аренда сервера с видеокартой.
Способ 1. rsync с вашего компьютера
Подходит, когда данные лежат только у вас на диске и их немного, до 20–30 ГБ. Команда запускается на вашем компьютере:
rsync -avP --partial -e "ssh -p 31001" ./dataset/ root@teraferma.io:/workspace/dataset/
Что делают флаги:
-a— сохраняет структуру папок и права;-v— пишет, какие файлы передаются;-P— показывает прогресс и не удаляет недокачанный файл при обрыве, следующий запуск продолжит с того же места;-e "ssh -p …"— порт SSH из карточки сервера.
Если данные хорошо сжимаются (текст, CSV, JSON), добавьте -z: rsync будет сжимать их на лету. Для картинок, видео и уже сжатых архивов -z бесполезен и только нагружает процессор.
Почему не scp: при обрыве он начинает файл заново, а повторный запуск копирует всё с нуля. rsync сверяет, что уже лежит на сервере, и передаёт только недостающее.
Способ 2. rclone из облачного хранилища
Лучший вариант для датасетов от 20 ГБ. rclone работает с S3-совместимыми хранилищами, Google Drive, Яндекс Диском, Dropbox и десятками других сервисов. Ставится на сервере одной командой:
curl https://rclone.org/install.sh | sudo bash
rclone config # добавить хранилище: тип s3, ключи доступа, endpoint
Скачивание с параллельными потоками:
rclone copy storage:my-bucket/dataset /workspace/dataset \
--transfers 16 --checkers 16 --progress
--transfers 16 качает 16 файлов одновременно. На быстром канале это даёт кратный прирост по сравнению с одним потоком, особенно когда файлов много. Для одного большого архива добавьте --multi-thread-streams 8, чтобы rclone резал его на части.
Хранилище стоит выбирать по месту, где находится сервер. Если машина в Европе, а бакет — в российском облаке, скорость упрётся в международные каналы. Перед большой загрузкой скачайте один файл на 1–2 ГБ и посмотрите на скорость: это займёт минуту и сразу покажет, сколько будет идти весь датасет.
Способ 3. aws s3 и s5cmd
Если данные уже лежат в S3 и вы привыкли к стандартному клиенту, используйте его:
pip install awscli
aws s3 cp s3://my-bucket/dataset /workspace/dataset --recursive \
--endpoint-url https://<endpoint>
Для миллионов мелких объектов быстрее работает s5cmd: этот клиент параллелит запросы агрессивнее стандартного:
s5cmd --endpoint-url https://<endpoint> cp 's3://my-bucket/dataset/*' /workspace/dataset/
Ключи доступа не храните в ноутбуках и скриптах, которые потом попадут в репозиторий. Задайте их переменными окружения в сессии и после работы отзовите или сделайте ключ только для чтения.
Способ 4. Hugging Face Hub
Открытые датасеты и веса моделей качайте прямо с Hugging Face. Для приватных данных создайте приватный репозиторий датасета: загрузка с вашего компьютера идёт один раз, а потом его можно тянуть на любой сервер.
pip install -U huggingface_hub
export HF_XET_HIGH_PERFORMANCE=1
hf download my-org/my-dataset --repo-type dataset --local-dir /workspace/dataset
Вместе с huggingface_hub ставится клиент hf_xet: он качает крупные файлы кусками в несколько потоков, а HF_XET_HIGH_PERFORMANCE=1 включает максимальную скорость. Старый совет с hf_transfer и HF_HUB_ENABLE_HF_TRANSFER=1 больше не нужен. Для приватного репозитория перед этим выполните hf auth login с токеном только на чтение.
Если датасет огромный, а вам нужна часть, не качайте его целиком. Библиотека datasets умеет режим streaming=True: примеры читаются по сети прямо во время обучения. Это удобно для первых экспериментов, но для долгого обучения лучше скачать данные на диск: сеть может стать узким местом и простаивать будет уже видеокарта.
Сравнение способов
| Способ | Откуда данные | Докачка после обрыва | Когда выбирать |
|---|---|---|---|
| scp | ваш компьютер | нет | один небольшой файл |
| rsync | ваш компьютер или свой сервер | да | до 20–30 ГБ, частые обновления |
| rclone | S3, облачные диски | да | от 20 ГБ, много файлов |
| aws s3 / s5cmd | S3 | частично | данные уже в S3, миллионы объектов |
| hf download | Hugging Face | да | открытые и приватные датасеты, веса моделей |
| Jupyter (перетаскивание) | ваш компьютер | нет | файлы до нескольких сотен мегабайт |
Пять приёмов, которые ускоряют перенос
Упакуйте мелкие файлы. 500 000 картинок по 50 КБ передаются в разы медленнее, чем один архив на 25 ГБ: на каждый файл уходят служебные операции. Перед отправкой упакуйте датасет:
tar -cf - dataset | zstd -T0 -3 > dataset.tar.zst
На сервере распаковка одной командой: zstd -d -c dataset.tar.zst | tar -xf -. zstd с флагом -T0 использует все ядра и почти не тормозит процесс.
Храните в форматах для обучения. Parquet для табличных и текстовых данных, WebDataset (шарды tar по 0,5–1 ГБ) для картинок и аудио. Такие файлы и передаются быстрее, и читаются при обучении без тысяч мелких обращений к диску.
Сжимайте только то, что сжимается. Текст и CSV уменьшаются в 3–10 раз. JPEG, MP4 и веса моделей в safetensors почти не сжимаются, на них время процессора тратится впустую.
Проверяйте целостность. После переноса сверьте контрольные суммы: sha256sum dataset.tar.zst на обоих концах. Обнаружить битый архив через три часа обучения выйдет дороже, чем потратить минуту на проверку.
Закладывайте диск с запасом. Архив и распакованные данные какое-то время лежат вместе, плюс кэш моделей и чекпойнты. Для датасета 100 ГБ берите диск от 250–300 ГБ. Если места не хватит посреди распаковки, придётся пересоздавать сервер и качать всё заново.
Сколько стоит перенос на разных картах
Сравним заливку 50 ГБ с домашнего канала 100 Мбит/с (около 1,1 часа) и скачивание того же объёма из облачного хранилища на 1 Гбит/с (около 7 минут, или 0,12 часа).
| Карта | Тариф, ₽/час | С компьютера, 1,1 ч | Из хранилища, 0,12 ч |
|---|---|---|---|
| RTX 3090 | 34 | 37 ₽ | 4,1 ₽ |
| RTX 4090 | 54 | 59 ₽ | 6,5 ₽ |
| A100 | 154 | 169 ₽ | 18 ₽ |
| H100 | 277–329 | 305–362 ₽ | 33–39 ₽ |
На дешёвых картах разница в несколько десятков рублей, и думать о ней не обязательно. На A100 и H100 она становится заметной, а если вы пересоздаёте сервер несколько раз за проект, каждая заливка повторяется. Поэтому для серверных карт правило «данные в хранилище заранее» почти обязательно. Другие способы не платить за время, когда карта ничего не считает, собраны в статье как не платить за простой GPU.
Не забудьте забрать результаты
После остановки сервера диск удаляется вместе с контейнером. Чекпойнты, логи и готовые модели нужно выгрузить до этого, теми же инструментами в обратную сторону:
rclone copy /workspace/output storage:my-bucket/run-01 --transfers 8 --progress
Надёжнее настроить выгрузку прямо в скрипте обучения: после каждого сохранения чекпойнт уходит в хранилище. Тогда обрыв, ошибка или случайная остановка не стоят вам часов вычислений. Для моделей удобно push_to_hub в Hugging Face.
Если итоговые веса весят десятки гигабайт, а дома медленный канал, не скачивайте их к себе с сервера. Выгрузите в облачное хранилище, остановите GPU и забирайте файлы оттуда в своём темпе: это время уже ничего не стоит.
Перенос датасета стоит столько же, сколько минуты аренды, пока он идёт. Формула простая: ГБ × 8 ÷ Мбит/с ÷ 3,6, и для 200 ГБ по домашнему каналу это четыре с лишним часа оплаченного GPU. Кладите данные в облачное хранилище или на Hugging Face заранее, упаковывайте мелкие файлы в архивы, качайте на сервер через rclone с параллельными потоками и выгружайте результаты до остановки.
Подготовьте датасет в хранилище и запустите сервер в разделе аренда GPU для ИИ: первые минуты уйдут на работу, а не на ожидание.