AI 超级计算机面向希望在本地开发、微调或运行大型模型的用户。对于 AI 开发者、数据科学团队、科研机构和初创企业来说,重要的不只是标称算力,更要看内存、软件、散热和接口是否适合预期的工作流程。
许多购买决策会陷入以下三个常见误区:
配备 128 GB 统一内存的 Mini AI 超级计算机,可让 CPU 和 GPU 共享同一内存空间。这有助于减少数据复制,并简化本地工作流程的搭建。对于 AI 推理、微调以及需要处理大型数据集的开发环境来说,这项配置尤其重要。
不过,可运行的模型规模还取决于多个因素:
因此,系统支持最高 2,000 亿参数模型的说法,应理解为制造商在特定配置下给出的参数。对于更大的模型,可能需要连接多台设备。
NVIDIA GB10 Grace Blackwell 的产品参数显示,其 FP4 推理 AI 算力最高可达 1 PetaFLOP。对买家来说,关键是确认这一性能是否真正符合预期用途。推理、训练和微调对内存带宽、计算格式及软件的要求各不相同。
预装 NVIDIA DGX OS 的系统基于 Linux 或 Ubuntu,可降低入门门槛。根据具体型号,软件栈可能包括 CUDA、PyTorch、TensorFlow、Jupyter、TensorRT、NIM 和 Blueprints。购买前应确认自己的库、容器和驱动是否受支持。Windows 台式机并不自动兼容所有基于 Linux 的 AI 工作流程。
1 TB SSD 适合安装操作系统、开发环境和少量模型。对于大型数据集、多个检查点,或本地运行 Llama-3.1 和 DeepSeek-R1 的不同版本,4 TB NVMe 存储更加实用。
对于分布式任务,网络配置同样重要。10GbE 足以满足许多本地工作站的需求,而具备高传输速率的 NVIDIA ConnectX-7 则专为连接兼容系统而设计。根据产品描述,两台 ASUS Ascent GX10 系统可以互联,用于处理拥有 4050 亿参数的 Llama 3.1 等更大型号。实际性能还会受到软件、模型配置和数据传输的影响。
此外,也不能低估设备的散热需求。紧凑型设备需要保持通风口畅通,不应放置在封闭柜体中。在持续高负载运行时,还应考虑办公室或实验室环境中的室温、空气流通和噪音水平。
为什么适合这一用户类型:这款紧凑型系统将 NVIDIA GB10 Grace Blackwell、128 GB LPDDR5X 统一内存、1 TB PCIe-4.0 SSD 和 NVIDIA DGX OS 集成在一个尺寸为 150 × 150 × 51 mm 的机身内。
128 GB 共享内存避免了普通 Mini PC 常见的 16 GB 或 32 GB RAM 容量限制。根据产品描述,CUDA、PyTorch 和 TensorFlow 已预先配置。
根据产品参数,支持 1 PetaFLOP FP4 推理算力,并配备 10GbE、Wi-Fi 7 和 4 个 USB-C 接口。
为什么适合这一用户类型:4 TB PCIe-5.0 NVMe 存储可为模型、数据集和检查点提供更充足的空间,而 ConnectX-7 则为可扩展配置奠定基础。
更大的 SSD 可减少频繁将外部数据转移至其他位置的需求。单台设备支持最高 200B 参数模型、两台 GX10 支持最高 405B 参数模型,均应理解为制造商基于特定配置给出的参数。
128 GB 统一内存、4 TB PCIe 5.0 SSD、HDMI 2.1,以及预装的 NVIDIA AI 软件栈。
为什么适合这一用户类型:这款 1 升机身设备配备 128 GB LPDDR5X、4 TB PCIe-5.0 SSD、10GbE 和 Wi-Fi 7,适合本地开发及需要频繁长时间运行的推理环境。
这套配置将大容量统一内存与充足的 SSD 容量结合起来。不过,在高负载持续运行时,仍需要可靠的散热系统和畅通的通风路径。
机身紧凑、配备 240 W 电源适配器、4 个 USB4 接口和 NVIDIA DGX OS。
配备 240 W 电源适配器的 AI 超级计算机,在满负载运行时,所需电力可能明显低于配备多张显卡的大型工作站。不过,实际功耗还取决于负载、散热、外设和待机时间。为了进行更准确的成本估算,建议用户直接测量设备的插座功耗。
设备与通风面之间最好保持至少 5 至 10 厘米的距离,并放置在稳固平面上,同时确保室温处于制造商规定的范围内。购买前还应确认是否已经配备显示器、键盘、额外 SSD 或高速网络交换机。
我们整理了一份完整且持续更新的产品清单,所列产品均符合严格的选购标准以及欧盟现行安全法规。
可以,只要模型规模、量化方式和可用内存彼此匹配。配备 128 GB 统一内存的系统适合多种本地推理工作流程。使用前应确认模型、上下文长度以及所需库是否满足要求。
NVIDIA DGX OS 基于 Linux 或 Ubuntu,主要面向 CUDA 工作流程进行优化。对于 PyTorch、TensorFlow、Jupyter 和 TensorRT 来说,预先配置好的环境会更加方便。不过,Windows 专属程序在未经调整或未使用额外虚拟化方案的情况下,并不能自动运行。
仅凭技术参数无法确定固定的运行时长。散热、灰尘、室温、固件与安全更新,以及设备负载都是关键因素。持续运行时,应保持通风口畅通,并使用制造商指定的电源适配器。