NVIDIA RTX PRO 6000 Blackwell 96 ГБ

Какое исполнение брать: Workstation, Max-Q или Server Edition

Все три варианта — одна и та же карта на 96 ГБ, разница в охлаждении и питании. Workstation Edition (600 Вт) рассчитана на одну карту в рабочей станции или в корпусе с хорошим воздушным потоком. Max-Q (300 Вт) — турбинное охлаждение: горячий воздух выходит наружу, поэтому её ставят по 2–4 штуки в один корпус, где соседние карты не должны греть друг друга. Server Edition — пассивное охлаждение, её место в серверном корпусе с продувом через радиаторы, обычно в паре с другими ускорителями. Если карта нужна для одной машины под инференс — берите Workstation; если собираете плотный узел на несколько карт — Max-Q или Server Edition. Подбор корпуса и платформы — в GPU-серверы.

Сколько карт нужно под вашу модель

Модель должна целиком поместиться в видеопамять. Веса занимают около 0,5–0,6 ГБ на миллиард параметров в 4-битном квантовании, около 1 ГБ в 8-битном и около 2 ГБ в 16-битном, плюс 10–30 % на контекст и одновременных пользователей. Отсюда: модели до 32B — это 64 ГБ (2 карты по 32 ГБ); 70B в 4 битах — около 40 ГБ, в 8 битах — около 75 ГБ; MoE около 120B (gpt-oss-120b) — около 65 ГБ, хватает одной карты на 96 ГБ; MoE около 235B (Qwen3-235B) — около 135 ГБ, то есть 192 ГБ (2 карты по 96 ГБ); 671B (DeepSeek V3/R1) — около 400 ГБ, это 4–8 карт по 96 ГБ. Дообучение требует в разы больше памяти, чем запуск; LoRA и QLoRA — заметно меньше, чем полное.

Что проверить до заказа карты

Первое — платформа: число линий PCIe и свободные слоты, потому что карта занимает два слота и требует питания. Второе — корпус и продув: пассивную Server Edition нельзя ставить в обычный настольный корпус, а Max-Q рассчитана на плотную установку. Третье — блок питания с запасом по мощности и разъёмами под каждую карту. Четвёртое — память и процессор хоста: для подачи данных в 96 ГБ видеопамяти нужен достаточный объём ОЗУ и быстрый накопитель под веса моделей, обычно NVMe. Пятое — программный стек: карты NVIDIA с ECC из коробки работают с vLLM, Ollama и PyTorch. Если нужен сервер целиком, а не карта, смотрите Для ИИ и нейросетей или соберите конфигурацию в конфигураторе.

Типичные ошибки при выборе

Самая частая — считать параметры модели, а не объём памяти под неё: карта на 96 ГБ не запустит 671B в 4 битах, для неё нужно 4–8 карт. Вторая — забыть про KV-кэш и одновременных пользователей: без запаса 10–30 % модель влезает, но падает под нагрузкой. Третья — взять Workstation Edition и поставить две карты в тесный корпус: перегрев и троттлинг. Четвёртая — не учесть, что дообучение требует памяти в разы больше инференса. Пятая — экономить на хосте: медленный диск и мало ОЗУ сводят на нет быстродействие ускорителя. Инженер PORT-IT подберёт конфигурацию по описанию задачи, соберёт и протестирует сервер, выставит счёт с НДС для юрлиц и организует доставку по России.