Логотип Терафермы Тераферма Регистрация

4 ноября 2026 г. · Анатолий Крылов, редактор Терафермы

Как загрузить датасет на сервер с GPU: rsync, rclone и S3 без лишних часов

Жёсткие диски и архивы, поток данных к серверу с видеокартами — как загрузить датасет на сервер с GPU быстро

Загрузить датасет на сервер с GPU быстрее всего не с домашнего компьютера, а из облачного хранилища или с Hugging Face: 100 ГБ по каналу дата-центра на 1 Гбит/с приходят примерно за 14 минут, а по домашнему исходящему каналу 100 Мбит/с — за 2,3 часа. Всё это время сервер работает и списывает деньги. На RTX 4090 за 54 ₽/час разница составляет 108 ₽ на одной загрузке, на H100 — 554–658 ₽.

Плюс приёмы, которые ускоряют копирование в разы без смены канала.

Почему перенос данных — это деньги

Аренда поминутная: счётчик идёт с момента, когда сервер готов, и до остановки. Видеокарте всё равно, считает она модель или ждёт, пока докачается архив. Поэтому каждая минута копирования стоит столько же, сколько минута обучения.

Время передачи считается просто:

Часы = размер, ГБ × 8 ÷ скорость, Мбит/с ÷ 3 600 × 1 000

Или короче: часы = ГБ × 8 ÷ Мбит/с ÷ 3,6. Множитель 8 переводит байты в биты. Реальная скорость обычно на 10–30% ниже тарифной из-за протокола, шифрования SSH и нагрузки на диски, так что результат даёт нижнюю границу.

Размер датасета 50 Мбит/с 100 Мбит/с 500 Мбит/с 1 Гбит/с
10 ГБ 27 мин 13 мин 3 мин 1,3 мин
50 ГБ 2,2 ч 1,1 ч 13 мин 7 мин
200 ГБ 8,9 ч 4,4 ч 53 мин 27 мин
1 ТБ 44 ч 22 ч 4,4 ч 2,2 ч

У домашнего интернета есть подвох: тариф «500 Мбит/с» почти всегда про входящую скорость. Исходящая, через которую вы отправляете файлы на сервер, у многих провайдеров заметно ниже. Проверьте её на любом спидтесте перед тем, как планировать перенос.

Пример. Датасет 200 ГБ, исходящий канал 100 Мбит/с, сервер с H100. Заливка с компьютера займёт около 4,4 часа и обойдётся в 1 219–1 448 ₽, а это больше, чем стоит иное дообучение. Тот же датасет из облачного хранилища на скорости 1 Гбит/с придёт за полчаса: 139–165 ₽.

Главное правило: данные — заранее, GPU — потом

Самая дорогая ошибка: запустить мощную карту и только потом начать заливать на неё данные. Правильный порядок другой:

  1. Положите датасет в хранилище до аренды. S3-совместимое облачное хранилище, приватный репозиторий датасета на Hugging Face или свой сервер с хорошим каналом. Эта заливка идёт с вашего компьютера в удобное время и за GPU не платится.
  2. На сервере скачивайте, а не принимайте. Канал машины в дата-центре обычно шире домашнего, а входящий трафик на сервер быстрее, чем ваш исходящий.
  3. Готовьте окружение на дешёвой карте. Если нужно проверить, что данные распаковались и скрипт их читает, сделайте это на RTX 3060 за 13 ₽/час, а не на H100.

Как подключиться к серверу по SSH и где взять порт, разобрано в статье первый запуск на арендованной GPU. Дальше считаем, что вы уже в терминале сервера, а рабочей папкой служит /workspace. Конфигурации с большим диском и быстрым каналом ищите в разделе аренда сервера с видеокартой.

Способ 1. rsync с вашего компьютера

Подходит, когда данные лежат только у вас на диске и их немного, до 20–30 ГБ. Команда запускается на вашем компьютере:

rsync -avP --partial -e "ssh -p 31001" ./dataset/ root@teraferma.io:/workspace/dataset/

Что делают флаги:

  • -a — сохраняет структуру папок и права;
  • -v — пишет, какие файлы передаются;
  • -P — показывает прогресс и не удаляет недокачанный файл при обрыве, следующий запуск продолжит с того же места;
  • -e "ssh -p …" — порт SSH из карточки сервера.

Если данные хорошо сжимаются (текст, CSV, JSON), добавьте -z: rsync будет сжимать их на лету. Для картинок, видео и уже сжатых архивов -z бесполезен и только нагружает процессор.

Почему не scp: при обрыве он начинает файл заново, а повторный запуск копирует всё с нуля. rsync сверяет, что уже лежит на сервере, и передаёт только недостающее.

Способ 2. rclone из облачного хранилища

Лучший вариант для датасетов от 20 ГБ. rclone работает с S3-совместимыми хранилищами, Google Drive, Яндекс Диском, Dropbox и десятками других сервисов. Ставится на сервере одной командой:

curl https://rclone.org/install.sh | sudo bash
rclone config   # добавить хранилище: тип s3, ключи доступа, endpoint

Скачивание с параллельными потоками:

rclone copy storage:my-bucket/dataset /workspace/dataset \
  --transfers 16 --checkers 16 --progress

--transfers 16 качает 16 файлов одновременно. На быстром канале это даёт кратный прирост по сравнению с одним потоком, особенно когда файлов много. Для одного большого архива добавьте --multi-thread-streams 8, чтобы rclone резал его на части.

Хранилище стоит выбирать по месту, где находится сервер. Если машина в Европе, а бакет — в российском облаке, скорость упрётся в международные каналы. Перед большой загрузкой скачайте один файл на 1–2 ГБ и посмотрите на скорость: это займёт минуту и сразу покажет, сколько будет идти весь датасет.

Способ 3. aws s3 и s5cmd

Если данные уже лежат в S3 и вы привыкли к стандартному клиенту, используйте его:

pip install awscli
aws s3 cp s3://my-bucket/dataset /workspace/dataset --recursive \
  --endpoint-url https://<endpoint>

Для миллионов мелких объектов быстрее работает s5cmd: этот клиент параллелит запросы агрессивнее стандартного:

s5cmd --endpoint-url https://<endpoint> cp 's3://my-bucket/dataset/*' /workspace/dataset/

Ключи доступа не храните в ноутбуках и скриптах, которые потом попадут в репозиторий. Задайте их переменными окружения в сессии и после работы отзовите или сделайте ключ только для чтения.

Способ 4. Hugging Face Hub

Открытые датасеты и веса моделей качайте прямо с Hugging Face. Для приватных данных создайте приватный репозиторий датасета: загрузка с вашего компьютера идёт один раз, а потом его можно тянуть на любой сервер.

pip install -U huggingface_hub
export HF_XET_HIGH_PERFORMANCE=1
hf download my-org/my-dataset --repo-type dataset --local-dir /workspace/dataset

Вместе с huggingface_hub ставится клиент hf_xet: он качает крупные файлы кусками в несколько потоков, а HF_XET_HIGH_PERFORMANCE=1 включает максимальную скорость. Старый совет с hf_transfer и HF_HUB_ENABLE_HF_TRANSFER=1 больше не нужен. Для приватного репозитория перед этим выполните hf auth login с токеном только на чтение.

Если датасет огромный, а вам нужна часть, не качайте его целиком. Библиотека datasets умеет режим streaming=True: примеры читаются по сети прямо во время обучения. Это удобно для первых экспериментов, но для долгого обучения лучше скачать данные на диск: сеть может стать узким местом и простаивать будет уже видеокарта.

Сравнение способов

Способ Откуда данные Докачка после обрыва Когда выбирать
scp ваш компьютер нет один небольшой файл
rsync ваш компьютер или свой сервер да до 20–30 ГБ, частые обновления
rclone S3, облачные диски да от 20 ГБ, много файлов
aws s3 / s5cmd S3 частично данные уже в S3, миллионы объектов
hf download Hugging Face да открытые и приватные датасеты, веса моделей
Jupyter (перетаскивание) ваш компьютер нет файлы до нескольких сотен мегабайт

Пять приёмов, которые ускоряют перенос

Упакуйте мелкие файлы. 500 000 картинок по 50 КБ передаются в разы медленнее, чем один архив на 25 ГБ: на каждый файл уходят служебные операции. Перед отправкой упакуйте датасет:

tar -cf - dataset | zstd -T0 -3 > dataset.tar.zst

На сервере распаковка одной командой: zstd -d -c dataset.tar.zst | tar -xf -. zstd с флагом -T0 использует все ядра и почти не тормозит процесс.

Храните в форматах для обучения. Parquet для табличных и текстовых данных, WebDataset (шарды tar по 0,5–1 ГБ) для картинок и аудио. Такие файлы и передаются быстрее, и читаются при обучении без тысяч мелких обращений к диску.

Сжимайте только то, что сжимается. Текст и CSV уменьшаются в 3–10 раз. JPEG, MP4 и веса моделей в safetensors почти не сжимаются, на них время процессора тратится впустую.

Проверяйте целостность. После переноса сверьте контрольные суммы: sha256sum dataset.tar.zst на обоих концах. Обнаружить битый архив через три часа обучения выйдет дороже, чем потратить минуту на проверку.

Закладывайте диск с запасом. Архив и распакованные данные какое-то время лежат вместе, плюс кэш моделей и чекпойнты. Для датасета 100 ГБ берите диск от 250–300 ГБ. Если места не хватит посреди распаковки, придётся пересоздавать сервер и качать всё заново.

Сколько стоит перенос на разных картах

Сравним заливку 50 ГБ с домашнего канала 100 Мбит/с (около 1,1 часа) и скачивание того же объёма из облачного хранилища на 1 Гбит/с (около 7 минут, или 0,12 часа).

Карта Тариф, ₽/час С компьютера, 1,1 ч Из хранилища, 0,12 ч
RTX 3090 34 37 ₽ 4,1 ₽
RTX 4090 54 59 ₽ 6,5 ₽
A100 154 169 ₽ 18 ₽
H100 277–329 305–362 ₽ 33–39 ₽

На дешёвых картах разница в несколько десятков рублей, и думать о ней не обязательно. На A100 и H100 она становится заметной, а если вы пересоздаёте сервер несколько раз за проект, каждая заливка повторяется. Поэтому для серверных карт правило «данные в хранилище заранее» почти обязательно. Другие способы не платить за время, когда карта ничего не считает, собраны в статье как не платить за простой GPU.

Не забудьте забрать результаты

После остановки сервера диск удаляется вместе с контейнером. Чекпойнты, логи и готовые модели нужно выгрузить до этого, теми же инструментами в обратную сторону:

rclone copy /workspace/output storage:my-bucket/run-01 --transfers 8 --progress

Надёжнее настроить выгрузку прямо в скрипте обучения: после каждого сохранения чекпойнт уходит в хранилище. Тогда обрыв, ошибка или случайная остановка не стоят вам часов вычислений. Для моделей удобно push_to_hub в Hugging Face.

Если итоговые веса весят десятки гигабайт, а дома медленный канал, не скачивайте их к себе с сервера. Выгрузите в облачное хранилище, остановите GPU и забирайте файлы оттуда в своём темпе: это время уже ничего не стоит.

Перенос датасета стоит столько же, сколько минуты аренды, пока он идёт. Формула простая: ГБ × 8 ÷ Мбит/с ÷ 3,6, и для 200 ГБ по домашнему каналу это четыре с лишним часа оплаченного GPU. Кладите данные в облачное хранилище или на Hugging Face заранее, упаковывайте мелкие файлы в архивы, качайте на сервер через rclone с параллельными потоками и выгружайте результаты до остановки.

Подготовьте датасет в хранилище и запустите сервер в разделе аренда GPU для ИИ: первые минуты уйдут на работу, а не на ожидание.

Вопросы по теме

Как быстрее всего загрузить датасет на сервер с GPU?

Скачивать его на сервер с облачного хранилища или Hugging Face, а не заливать с домашнего компьютера. Канал машины в дата-центре обычно в несколько раз шире домашнего исходящего, поэтому 100 ГБ приходят за минуты, а не за часы. Заранее положите датасет в S3-совместимое хранилище, а на сервере запустите rclone copy с параллельными потоками.

Что лучше для переноса датасета: scp или rsync?

rsync. Он докачивает файлы после обрыва (флаг -P), пропускает уже переданные и умеет сжимать данные на лету. scp при обрыве начинает файл заново. Для тысяч мелких файлов оба работают медленно — упакуйте их в один архив tar или tar.zst перед отправкой.

Сколько стоит загрузка датасета на арендованную GPU?

Столько, сколько стоят минуты аренды во время копирования. Формула: часы = размер в ГБ × 8 ÷ скорость в Мбит/с ÷ 3,6. 50 ГБ по каналу 100 Мбит/с — около 1,1 часа, на RTX 4090 это 59 ₽. Тот же датасет из облачного хранилища на 1 Гбит/с приходит за 7 минут.

Сохранится ли датасет после остановки сервера?

Нет. После остановки контейнер и диск удаляются. Держите исходный датасет в своём хранилище, а результаты и чекпойнты выгружайте до нажатия «Остановить».

Подберите GPU

Все видеокарты каталога с поминутной оплатой в рублях.