Сервер для LLM и локальных нейросетей
Соберём и протестируем сервер под вашу модель · видеокарты NVIDIA с памятью ECC · гарантия на собранный сервер — 1 год, расширенная — до 3 лет · счёт с НДС
Подобрать за 3 вопросаПодбор сервера за 3 вопроса
Ответьте на три вопроса — покажем подходящие готовые сборки в наличии. Любую можно открыть в конфигураторе и изменить.
Как выбрать сервер под локальную LLM
Считайте от размера модели. Веса занимают около 0,5–0,6 ГБ на миллиард параметров в 4-битном квантовании, около 1 ГБ в 8-битном и около 2 ГБ в 16-битном. Сверху закладывайте 10–30 % на KV-кэш контекста и одновременных пользователей. Отсюда расклад: модели до 32B — около 20 ГБ в 4 битах и около 34 ГБ в 8 битах, хватает 64 ГБ видеопамяти (2 карты по 32 ГБ). Модели 70B — около 40 ГБ в 4 битах и около 75 ГБ в 8 битах, а MoE около 120B — около 65 ГБ: помещается на одной карте 96 ГБ. MoE около 235B требует около 135 ГБ — это 192 ГБ (2 карты по 96 ГБ). DeepSeek 671B — около 400 ГБ в 4 битах, то есть 4–8 карт по 96 ГБ. Если планируете дообучение, памяти нужно в разы больше, чем для инференса; LoRA и QLoRA снижают аппетит, но не до уровня запуска.
Типичные ошибки при сборке под ИИ
Первая — считать только веса модели и забыть про контекст: при длинном системном промпте и нескольких пользователях KV-кэш съедает запас, и модель перестаёт помещаться. Вторая — брать карты без ECC: для длительных сессий и агентов ошибки в памяти накапливаются, NVIDIA с ECC для таких задач предпочтительнее. Третья — экономить на охлаждении и питании: несколько карт по 300–600 Вт требуют резервируемых БП и продуманного воздушного потока, иначе срабатывает троттлинг. Четвёртая — путать инференс и дообучение: конфигурация под запуск Qwen или Llama не потянет полный fine-tuning той же модели. Пятая — ставить HDD вместо NVMe под веса и не закладывать сеть, когда моделью пользуется команда.
Что проверить перед заказом
Сверьте три числа: объём видеопамяти с запасом на контекст, число линий PCIe под нужное количество карт и мощность БП с резервированием. Уточните исполнение видеокарты — Workstation, Max-Q или Server Edition — оно определяет, сколько карт влезет в корпус и как их охлаждать. Проверьте, что платформа поддерживает выбранный объём системной памяти и что дисковый массив допускает RAID под датасеты. Если модель будет обслуживать ИИ-агентов и несколько сервисов, оцените сеть и запас по памяти на будущие версии моделей. Инженер PORT-IT соберёт и протестирует сервер под вашу задачу, для юрлиц — счёт с НДС, доставка по России. Все конфигурации новые, со склада PORT-IT.
Вопросы и ответы
Сколько видеопамяти нужно для локальной LLM?
Считайте около 0,5–0,6 ГБ на миллиард параметров в 4 битах и около 1 ГБ в 8 битах, плюс 10–30 % на контекст. Модели до 32B хватает 64 ГБ, для 70B нужно около 96 ГБ, для MoE около 235B — 192 ГБ.
Потянет ли сервер с одной картой 96 ГБ модель 70B?
Да, в 4-битном квантовании 70B занимает около 40 ГБ, остаётся запас на контекст и пользователей. В 8 битах нужно около 75 ГБ — тоже помещается на 96 ГБ, но запас на KV-кэш меньше.
Можно ли запустить DeepSeek на одном сервере?
Модель 671B в 4 битах требует около 400 ГБ видеопамяти — это 4–8 карт по 96 ГБ или сервер на 8 ускорителях H200. Одна карта такую модель не вместит.
Подойдёт ли сервер для ИИ-агента на Qwen или Llama?
Да, для агентов обычно достаточно моделей до 32B или MoE около 120B. Первым хватает 64 ГБ видеопамяти, вторым — одной карты на 96 ГБ; важнее взять NVMe под веса и запас по контексту.
Хватит ли такой конфигурации для дообучения модели?
Для полного fine-tuning памяти нужно в разы больше, чем для запуска. LoRA и QLoRA требуют заметно меньше, но конфигурацию под обучение стоит планировать отдельно, с запасом по видеопамяти.
Можно ли изменить готовую сборку под свою задачу?
Да, любую конфигурацию из каталога можно открыть в конфигураторе и поменять видеокарты, память, диски и корпус. Инженер PORT-IT подберёт вариант по описанию задачи.
