Видеопамять и охлаждение: где чаще ошибаются

Главная ошибка — считать по числу карт, а не по суммарной видеопамяти: две карты по 32 ГБ и одна на 96 ГБ решают разные задачи, и модель должна помещаться целиком, иначе часть слоёв уйдёт в системную память и скорость упадёт в разы. Вторая ошибка — не учитывать контекст: KV-кэш растёт с длиной запросов и числом одновременных пользователей, поэтому закладывайте запас 10–30 % сверху. Третья — охлаждение: NVIDIA RTX PRO 6000 Blackwell выпускается в исполнениях Workstation Edition (600 Вт), Max-Q (300 Вт, турбинное охлаждение — для 2–4 карт в одном корпусе) и Server Edition (пассивное охлаждение — для серверных корпусов с продувом); карта не того исполнения в тесном корпусе уйдёт в троттлинг. Отдельно про дообучение: fine-tuning требует в разы больше памяти, чем запуск той же модели, а LoRA и QLoRA — заметно меньше, чем полное дообучение, и это меняет требования к конфигурации.

Платформа, питание и диски

Платформа задаёт потолок всей сборки: число слотов PCIe x16 под карты, мощность и резервирование блоков питания, доступный объём памяти на канал. Под 4–8 GPU берите корпус с продувом и запасом по питанию, под 1–2 карты хватит 2U–4U общего назначения. Процессор выбирайте по числу линий PCIe и ядер: для инференса важнее линии и память, для подготовки данных и обучения — ядра. Память — серверная с ECC, объём под модель и датасеты. Накопители: NVMe под веса моделей и быстрый обмен, SATA SSD или HDD в RAID под датасеты и бэкапы; для больших массивов смотрите серверы с NVMe и серверы от 12 дисков. Если нужны две и более карты в одном корпусе, проверьте, что платформа поддерживает их физически и по питанию — это видно в конфигураторе при выборе платформы.

Что проверить перед заказом

Сверьте три вещи: суммарная видеопамять с запасом на контекст покрывает модель; исполнение карт соответствует корпусу и схеме продува; блоки питания с резервированием выдерживают пиковую нагрузку всех карт. Уточните, какие фреймворки планируете использовать: видеокарты NVIDIA с ECC из коробки работают с vLLM, Ollama и PyTorch, отдельная настройка не нужна. Продумайте сеть, если узлов будет несколько, и место под контрольные точки — они занимают сопоставимый с весами объём. Инженер PORT-IT подберёт конфигурацию по описанию задачи, соберёт и протестирует сервер, выставит счёт с НДС для юрлиц и организует доставку по России. Сравнить подходы к сборке удобно в конфигураторе, а готовые решения под локальные модели — в разделе серверы для LLM.