Почему ZoomApps

Почему серверы для искусственного интеллекта заказывают у ZoomApps

01

Обучение и работа модели раздельно

Обучению нужны несколько карт на недели, эксплуатации нужна стабильная отдача круглый год. Разводим их по разным машинам, чтобы дорогая мощность не стояла.

02

Считаем от модели

Спрашиваем размер модели, длину контекста и число одновременных запросов. Из этого получаются видеопамять, число карт и пропускная способность.

03

Стек собран до передачи

Драйверы, CUDA, PyTorch, сервер инференса, очередь задач и хранилище наборов данных настроены и проверены тестовой нагрузкой.

04

Видно загрузку каждой карты

Панель показывает занятость видеопамяти, очередь запросов и время ответа. По ней понятно, когда пора добавлять узел, а когда мощность лишняя.

05

Данные в казахстанском дата-центре

Обучающие выборки и запросы пользователей не уходят за границу. Для закрытых контуров ставим стойку на площадке заказчика.

06

Расширение без переделки

Закладываем сеть, питание и оркестрацию так, чтобы второй и третий узел добавлялись в кластер, а не строились заново.

Что входит

Что входит в сборку инфраструктуры для ИИ

Разбор задачи

Выясняем, что именно будет работать: обучение, дообучение, ответы пользователям или поиск по документам. От этого зависит весь состав железа.

Контур обучения

Собираем конфигурацию под обучение и дообучение: видеокарты с нужным объёмом памяти, быстрые диски под данные, очередь задач для команды.

Контур эксплуатации

Отдельно разворачиваем сервер, на котором модель отвечает пользователям: балансировка запросов и понятный порядок обновления.

Программный стек

Ставим драйверы, контейнеры, сервер инференса и векторную базу для поиска по документам. Версии фиксируем, чтобы среду можно было повторить.

Перенос модели

Помогаем перевезти модель и данные с рабочей машины разработчика на сервер и убедиться, что результат на сервере совпадает с исходным.

Мониторинг и документация

Выводим загрузку карт, очередь запросов и время ответа на панель. Передаём схему, доступы и инструкцию по добавлению мощности.

Процесс

Как мы работаем

Типовую конфигурацию запускаем за 1-3 дня. Кластер из нескольких узлов с поставкой оборудования занимает 4-10 недель.

01

Этап 01 · 1 день

Профиль нагрузки

Выясняем, что будет работать: дообучение, инференс, поиск по документам, компьютерное зрение. Фиксируем объёмы и пиковые часы.

02

Этап 02 · 1-3 дня

Архитектура

Раскладываем задачи по узлам, выбираем карты, диски, сеть и способ запуска: контейнеры на одной машине или кластер.

03

Этап 03 · 1-5 дней

Площадка

Определяем, где стоит железо: дата-центр в Казахстане или ваша серверная. Проверяем питание, охлаждение и канал.

04

Этап 04 · 1-3 дня

Развёртывание

Ставим систему, драйверы, фреймворки и сервер инференса. Настраиваем хранилище и права доступа для команды.

05

Этап 05 · 1-2 дня

Нагрузочная проверка

Запускаем вашу модель или близкую по размеру, меряем скорость ответа и поведение при пиковом числе запросов.

06

Этап 06 · по договору

Эксплуатация

Передаём документацию и мониторинг, обновляем драйверы, добавляем узлы по мере роста.

Кейсы

Кейсы из портфолио

Запущенные проекты ZoomApps, доступные в App Store и Google Play

E-commerce

Tumar

12 000+ заказов/мес

iOSAndroidWeb

Утилиты ЖКХ

Astanasu

оплаты в 1 клик через Kaspi

iOSAndroid

Соцсеть велосипедистов

Velo Friends

8 000 активных DAU

iOSAndroid

Все 32 проекта в портфолио

Стек технологий

Технологический стек

Используем production-ready инструменты, которые проверены на тысячах пользователей. Никаких экзотических зависимостей.

Используем

▸ NVIDIA H100
▸ NVIDIA H200
▸ CUDA
▸ PyTorch
▸ TensorFlow
▸ vLLM
▸ Kubernetes

Стоимость

Сколько стоит сервер для ИИ

В работы входят проект, развёртывание и проверка под нагрузкой. Оборудование или его аренда считаются отдельно, потому что цена карты зависит от серии и наличия на рынке.

Один узел

300 000 ₸

Проект и запуск сервера под инференс или дообучение небольшой модели.

Расчёт видеопамяти под модель
Установка окружения и драйверов
Сервер инференса с доступом по API
Проверка тестовой нагрузкой

Обучение плюс эксплуатация

от 660 000 ₸

Две раздельные конфигурации: одна учит, другая отвечает пользователям.

Узел обучения на нескольких картах
Узел инференса с очередью запросов
Общее хранилище наборов данных
Панель загрузки и оповещения
Регламент обновлений

Кластер

индивидуально

Несколько узлов под оркестрацией для команды разработки или продукта.

Проект сети и питания
Kubernetes с планировщиком видеокарт
Отказоустойчивость сервисов
Сопровождение по договору

Калькулятор

Посчитайте стоимость сами

Соберите конфигурацию - увидите цену за час, сутки и месяц без заявки и звонка.

Открыть калькулятор на отдельной странице - удобно отправить ссылкой коллеге или подрядчику

География

Серверы под ИИ в городах Казахстана и за рубежом

Алматы Астана Шымкент Караганда Актобе Тараз Павлодар Усть-Каменогорск Семей Атырау Костанай Кызылорда Уральск Петропавловск Темиртау Туркестан Актау Дубай Бангкок

Сервер для ИИ отличается от обычного не только видеокартой. Вокруг карты должны сойтись быстрые диски для наборов данных, оперативная память с запасом относительно видеопамяти, сеть между узлами и питание с охлаждением, которые выдержат полную загрузку сутками. Слабое место в любом из этих пунктов съедает производительность дорогой карты.

Обучение нейросетей и инференс ведут себя по-разному. Обучение загружает все карты на сто процентов и идёт часами или неделями, затем машина свободна. Инференс работает постоянно, но нагрузка приходит волнами вместе с пользователями. Если держать обе задачи на одном сервере, обучение тормозит ответы, а ночью мощность простаивает. Поэтому AI-инфраструктуру мы проектируем как две роли, даже если на старте это одна стойка.

Для систем поиска по документам к серверу инференса добавляется векторное хранилище и сервис индексации. Для компьютерного зрения важнее декодирование видео и пропускная способность сети от камер. Мы спрашиваем о задаче подробно именно поэтому: одинаковых серверов под ИИ не бывает.

Компаниям в Казахстане собственная или размещённая в стране инфраструктура нужна там, где данные нельзя передавать наружу: банки, медицина, государственные организации, промышленность. Модель работает внутри контура, а вы точно знаете, на каком диске лежит каждая выборка.

Эту услугу выполняет опытная команда из 18 senior-разработчиков ZoomApps с офисом в Алматы. Мы на рынке с 2010 года и выпустили 32+ продукта в App Store и Google Play.

Узнать о команде ZoomApps →

FAQ

Частые вопросы

Сколько стоит сервер для нейросетей?

Проект и запуск одного узла стоят от 300 000 ₸, связка из раздельных конфигураций под обучение и эксплуатацию от 660 000 ₸. Стоимость самих видеокарт считаем по вашей задаче и присылаем отдельной сметой.

Какая видеокарта нужна под мою модель?

Главный параметр это видеопамять. Модель должна поместиться в неё целиком вместе с контекстом запросов. Для компактных моделей хватает одной карты на 24-48 ГБ, большие языковые модели требуют карт серверного класса или нескольких сразу.

Купить сервер или арендовать?

Если нагрузка постоянная и понятна на два-три года вперёд, покупка обычно выходит дешевле. Для пилота и разового обучения разумнее аренда. Считаем оба варианта на одном листе.

Можно поставить сервер у нас в офисе?

Можно, но узел с несколькими картами потребляет несколько киловатт и сильно шумит. Нужны отдельная линия питания и охлаждение. Если серверной нет, проще разместить в дата-центре.

Сколько пользователей выдержит один сервер?

Зависит от модели и длины ответов. Сервер инференса обрабатывает запросы пачками, поэтому одна карта обслуживает десятки одновременных диалогов. Точное число показывает нагрузочная проверка.

Вы поможете перенести модель с ноутбука разработчика на сервер?

Да. Упаковываем в контейнер, настраиваем запуск, доступ по API и журналирование. Команда продолжает работать привычными инструментами.

Блог

Серверы для искусственного интеллекта под ключ