14 октября 2026 г. · Анатолий Крылов, редактор Тераферма
Open WebUI и Ollama: свой ChatGPT в браузере на арендованной видеокарте
Свой ChatGPT на сервере собирается за 15–20 минут: арендуете видеокарту с 24 ГБ памяти, ставите Ollama, запускаете Open WebUI и открываете его в браузере через SSH-туннель. На RTX 3090 за 26 ₽ в час работают Qwen3 14B, gpt-oss-20b и Gemma 3 27B, на A100 за 97 ₽ — Llama 3.3 70B. Переписка и документы при этом не уходят в сервисы вроде ChatGPT: модель работает в изолированном контейнере на арендованной вами машине.
Что такое Ollama и Open WebUI
Ollama скачивает открытые языковые модели в готовой квантизации и запускает их одной командой. Модель отвечает в терминале и через HTTP API на порту 11434.
Open WebUI даёт веб-интерфейс в стиле ChatGPT поверх Ollama: история чатов, переключение моделей, загрузка документов с поиском по ним, системные промпты, несколько пользователей с правами. Проект открытый, ставится через pip или Docker.
Вместе они дают привычный чат в браузере, который работает на вашей видеокарте. Если Ollama вы уже запускали, подробности про неё есть на странице запуск Ollama.
Шаг 1. Выбираем карту под модель
Главное — видеопамять. Ollama по умолчанию берёт 4-битную квантизацию, поэтому модель занимает примерно 0,6 ГБ на миллиард параметров, плюс запас под контекст.
| Модель в Ollama | Размер весов (4 бита) | Минимальная карта | Цена, ₽/час |
|---|---|---|---|
| qwen3:14b | ≈ 9 ГБ | RTX 3060, 12 ГБ | 12 |
| gpt-oss:20b | ≈ 14 ГБ | RTX 3090, 24 ГБ | 26 |
| gemma3:27b | ≈ 17 ГБ | RTX 3090, 24 ГБ | 26 |
| qwen3:32b | ≈ 20 ГБ | RTX 4090, 24 ГБ / RTX 5090, 32 ГБ | 48 / 83 |
| llama3.3:70b | ≈ 43 ГБ | RTX A6000, 48 ГБ | 66 |
| gpt-oss:120b | ≈ 65 ГБ | A100, 80 ГБ | 97 |
Как выбирать:
- Личный ассистент для текстов и кода. Qwen3 14B или gpt-oss-20b на 24 ГБ. Быстро и дёшево.
- Качество ближе к большим коммерческим моделям. Qwen3 32B или Gemma 3 27B на 24–32 ГБ.
- Сложные рассуждения, длинные документы. Llama 3.3 70B или gpt-oss-120b на 48–80 ГБ.
Gemma 3 умеет работать с картинками: можно загрузить скриншот или фото документа прямо в чат Open WebUI. Как подобрать модель под русский язык и под свою задачу, подробнее написано в статье как запустить Llama на арендованной GPU.
Карты с 24–80 ГБ под языковые модели собраны в каталоге аренды сервера для нейросети. При запуске выберите шаблон с PyTorch и CUDA и диск с запасом: под модель 70B и окружение берите от 100 ГБ.
Шаг 2. Ставим Ollama
Подключитесь к серверу по SSH и проверьте карту:
nvidia-smiУстановите Ollama:
curl -fsSL https://ollama.com/install.sh | shАрендованный сервер в Тераферме — это изолированный контейнер, в котором обычно нет systemd, поэтому сервис Ollama может не стартовать сам. Запустите его в фоне вручную:
nohup ollama serve > ~/ollama.log 2>&1 &Скачайте модель:
ollama pull qwen3:14bПроверьте, что она отвечает:
ollama run qwen3:14b "Привет! Ответь одним предложением."Если ответ пришёл, Ollama готов. Скачать можно сразу несколько моделей: в Open WebUI между ними переключаются из выпадающего списка.
Шаг 3. Ставим Open WebUI
Open WebUI поддерживает Python 3.11 и 3.12. Чтобы не возиться с версиями, удобнее всего запускать его через менеджер пакетов uv: он сам скачает нужный Python.
Установите uv:
curl -LsSf https://astral.sh/uv/install.sh | sh
source ~/.local/bin/envЗапустите Open WebUI, указав папку для данных:
mkdir -p ~/open-webui
DATA_DIR=~/open-webui nohup uvx --python 3.11 open-webui@latest serve > ~/webui.log 2>&1 &Первый запуск занимает несколько минут: скачиваются зависимости и вспомогательные модели. Следить за процессом можно командой tail -f ~/webui.log. Когда в логе появится строка о старте сервера, интерфейс доступен на порту 8080 внутри сервера. Ollama на том же сервере Open WebUI находит сам по адресу localhost:11434.
Папка DATA_DIR важна: в ней лежат база с чатами, пользователями и загруженными документами. О ней речь в шаге 6.
Шаг 4. Открываем чат в браузере через SSH-туннель
Открывать порт 8080 в интернет не нужно. На своём компьютере выполните команду с теми же адресом и портом, что вы используете для SSH:
ssh -L 8080:localhost:8080 -p <порт> root@<адрес-сервера>Пока это SSH-соединение открыто, интерфейс доступен в браузере по адресу http://localhost:8080. Трафик идёт по зашифрованному SSH-каналу.
При первом входе Open WebUI предложит создать аккаунт администратора. Первый зарегистрированный пользователь получает полные права: управление моделями, пользователями и настройками.
Шаг 5. Настраиваем под себя
Несколько настроек, которые сразу делают чат удобнее:
- Модель по умолчанию. В настройках администратора выберите модель, которая открывается в новом чате.
- Системный промпт. Например, «Отвечай по-русски, кратко, с примерами кода». Его можно задать для всех чатов или для конкретной модели.
- Документы. Загрузите PDF или текст в чат или в раздел знаний: Open WebUI разобьёт его на фрагменты и будет подставлять нужные куски в запрос. Для договоров, регламентов и технической документации это работает лучше, чем копировать текст вручную.
- Пользователи. Коллеги регистрируются по той же ссылке, администратор подтверждает их. Каждому нужен свой SSH-туннель или общий доступ, который вы настроите сами.
Если в команде больше 5–10 человек и они пишут одновременно, Ollama начнёт отвечать медленнее: он рассчитан скорее на одного-двух пользователей. Тогда модель лучше поднять на vLLM, а Open WebUI подключить к нему как к OpenAI-совместимому API.
Шаг 6. Не потеряйте чаты при остановке
После остановки сервера контейнер и его диск удаляются. Если чаты и загруженные документы нужны, перед остановкой сохраните папку данных:
tar czf ~/open-webui-backup.tar.gz -C ~ open-webuiИ скачайте архив к себе:
scp -P <порт> root@<адрес-сервера>:~/open-webui-backup.tar.gz .В следующий раз загрузите архив на новый сервер, распакуйте в домашнюю папку и запустите Open WebUI с тем же DATA_DIR, и история и пользователи вернутся. Модели Ollama при этом придётся скачать заново, это 1–5 минут для моделей до 32B.
Сколько стоит свой ChatGPT на арендованной GPU
Самое дорогое — держать сервер включённым, когда им никто не пользуется. Поэтому для личного использования удобна схема «включил на рабочую сессию — выключил».
| Сценарий | Карта | Часов в месяц | Стоимость, ₽ |
|---|---|---|---|
| Личный ассистент, 2 часа в рабочий день | RTX 3090 | 44 | 1 144 |
| Личный ассистент на Qwen3 32B, 2 часа в день | RTX 4090 | 44 | 2 112 |
| Команда, рабочие часы, модель 70B | RTX A6000 | 176 | 11 616 |
| Команда, рабочие часы, gpt-oss-120b | A100 | 176 | 17 072 |
| Чат круглосуточно на 24 ГБ | RTX 3090 | 720 | 18 720 |
176 часов — это 22 рабочих дня по 8 часов. Оплата поминутная: если сессия длилась 50 минут, вы платите за 50 минут. Баланс пополняется криптовалютой от 500 ₽, оплата российской картой появится позже.
Чем свой чат отличается от подписки на ChatGPT
Свой чат на открытой модели не заменяет большие коммерческие модели во всём, но в ряде задач выигрывает.
| Критерий | Свой чат: Open WebUI + Ollama | Коммерческий чат-сервис |
|---|---|---|
| Где обрабатываются запросы | на арендованной вами машине | на серверах сервиса |
| Выбор модели | любая открытая модель, можно менять | только модели сервиса |
| Оплата | за часы работы сервера | ежемесячная подписка или токены |
| Лимиты сообщений | нет, ограничивает только скорость карты | зависят от тарифа |
| Качество на сложных задачах | зависит от модели: 70B и 120B заметно сильнее 8–14B | обычно выше у флагманских моделей |
| Настройка | 15–20 минут и базовые навыки SSH | не нужна |
Где свой чат особенно удобен:
- Документы, которые нельзя отправлять во внешние сервисы. Внутренние регламенты, договоры, переписка с клиентами.
- Пакетная работа. Сотни однотипных запросов (переписать описания товаров, классифицировать обращения) без лимитов на число сообщений.
- Эксперименты с моделями. Сравнить Qwen3, Gemma 3 и gpt-oss на своих задачах в одном интерфейсе, переключая модель в выпадающем списке.
Как сделать чат доступным для команды
SSH-туннель удобен для одного человека. Если в чат заходят 3–5 коллег, есть два простых варианта.
Каждый подключается своим туннелем. Вы выдаёте коллегам SSH-доступ к серверу, и каждый открывает туннель со своего компьютера. Надёжно, но требует, чтобы все умели пользоваться терминалом.
Один туннель на офисной машине. Туннель держится на компьютере внутри офисной сети, а коллеги открывают интерфейс по его адресу. Открывать порт в интернет при этом всё равно не нужно.
В обоих случаях включите в настройках Open WebUI подтверждение новых пользователей администратором, чтобы случайный человек со ссылкой не получил доступ к чатам.
Типичные проблемы
Open WebUI не видит модели. Проверьте, что Ollama запущен: curl http://localhost:11434/api/tags должен вернуть список моделей. Если пусто, модели не скачаны, если ошибка соединения, перезапустите ollama serve.
Ответы идут медленно, карта почти не загружена. Модель не поместилась в видеопамять, и часть слоёв считается на процессоре. Посмотрите ollama ps: в колонке процессора должно быть 100% GPU. Если нет, возьмите модель поменьше или карту с большей памятью.
Туннель обрывается. Добавьте в команду -o ServerAliveInterval=60, чтобы соединение не закрывалось при простое.
Страница не открывается сразу после запуска. Первый старт Open WebUI долгий, проверьте лог ~/webui.log.
Свой ChatGPT на арендованной видеокарте — это Ollama, Open WebUI и SSH-туннель: около 20 минут на настройку и оплата только за часы работы. Для личного ассистента хватает карты с 24 ГБ, для команды с моделью 70B — 48–80 ГБ. Данные остаются у вас, модели можно менять в один клик.
Выберите карту под нужную модель, запустите сервер и пройдите шаги выше.