9 年前 Tesla V100 四卡集群跑赢两台 DGX Spark

YouTube 频道 Jun Yamog 测试 4 张 Tesla V100 通过 NVLink 载板运行 Qwen3.8-Flash-Next，长提示速度较 M5 Ultra 快 230%、较 2 台 DGX Spark 快 40%。旧硬件在特定推理负载中的表现，可能影响本地 AI 内容团队的硬件选择。

发生了什么

YouTube 频道 Jun Yamog 在 10 月 12 日发布的视频中，将 4 张 Tesla V100 安装到 NVLink 载板上，使用 4-bit 量化的 Qwen3.8-Flash-Next 模型进行测试。在长提示处理中，这套四卡集群的速度较 M5 Ultra 快 230%，较 2 台 DGX Spark 快 40%。

IT之家查询公开资料显示，Tesla V100 是英伟达于 2017 年推出的数据中心 GPU，基于 Volta 架构，32GB 版本配备 HBM2 显存，显存带宽为 900GB/s。NVLink 是英伟达的 GPU 高速互联技术，用于在多颗 GPU 之间直接传输数据，可降低互联瓶颈。

测试者使用的 NVLink 载板提供 300GB/s 带宽，配备 6 条 NVLink 2.0 连接。为容纳 4 颗独立 GPU，测试者改装 NVIDIA A100 散热器，以散发每颗 V100 约 300W 的功耗，并通过 PCIe x8 接口连接载板。

关键事实

• 长提示处理：4 颗 V100 较 M5 Ultra 快 230%，较 2 台 DGX Spark 快 40%。
• 短提示处理：V100 集群较 DGX Spark 保持 40% 的速度优势，较 M5 Ultra 快 163%。
• 短提示 Token 生成：4 颗 V100 达到 100.6 tok/s，较 2 台 DGX Spark 快 121%；M5 Ultra 为 44.5 tok/s。
• 测试使用 4-bit 量化的 Qwen3.8-Flash-Next 模型；对比对象为 2 台配备 128GB LPDDR5X 统一内存的 DGX Spark，以及配备 M5 Ultra 芯片的 Mac Studio。
• NVLink 载板提供 300GB/s 带宽，配备 6 条 NVLink 2.0 连接；单颗 V100 功耗约 300W，测试者改装了 A100 散热器。

我们的分析

这项测试让旧款数据中心 GPU 重新进入本地 AI 推理的讨论。4 张 2017 年发布的 V100 在长提示和短提示处理上都明显超过两台较新的 DGX Spark 设备，说明在特定负载下，多卡高速互联和显存带宽可能比单一设备的代际更新更重要。对内容创作者和运营者来说，如果工作流依赖本地大模型处理长文档、脚本或社区问答，硬件选择不能只看发布年份。

测试者特别指出，与 Apple Silicon 的巨大差距可能部分源于软件优化不足。这意味着 M5 Ultra 的当前成绩不一定完全反映硬件上限，后续软件栈、推理框架或量化支持的改善可能缩小差距。因此，这份数据适合作为某个时间点的参考，而不是对所有设备的最终结论。

同时要看到，这种四卡 V100 方案并不即插即用。测试者需要改装散热器、使用 NVLink 载板并处理每颗约 300W 的功耗，部署门槛明显高于购买整机。团队在考虑类似方案时，需要把改造、供电、散热和兼容性成本纳入评估。

对运营者意味着什么

• 如果计划本地运行开源大模型做长文案、脚本或社区内容生成，可以优先测试长提示处理速度，而不只参考单卡跑分；多卡 NVLink 集群可能在长上下文任务中带来明显优势。
• 对比设备时，记录短提示 Token 生成速度（如 100.6 tok/s 与 44.5 tok/s 这类数据），并在自己的量化模型和实际提示长度下复测，因为模型版本和软件优化会直接影响结果。
• 不要仅凭 Apple Silicon 当前成绩排除某类硬件。测试者提到差距可能部分源于软件优化不足，后续可关注推理框架更新后再做判断。
• 评估旧款数据中心 GPU 方案时，把功耗、散热改造、NVLink 载板兼容性和部署复杂度列入清单，避免只看到速度优势而忽略维护成本。