DeepSeek V4.1F在GB200与950DT上的推理性能对比分析

一些想法。根据9月30日的基准测试，V4.1F+GB200在100 tps和131K上下文下的当前解码最大值为25.5K，而搭载CANN的950DT仅为5K。在230 tps时：20K对比2.7K。从5倍提升至7.4倍。但是：DeepInfer Nvidia使用EP64-128/DP64-128。三周前，DeepSeek在DeepEP-Ascend中明确表示他们尚未优化EP64-128（见图4，“更大的EP尺寸和组合仍在优化中；组合具有额外的本地归约开销以及与URMA的HBM争用。华为固件改进也计划用于减少这种争用”），目前他们正与华为合作进行优化。今天他们推荐“普通8 GPU机器用于预填充，普通64–128 GPU超级节点用于解码”。不存在64-128 GPU的“Nvidia超级节点”。也许他们在内部至少解决了这部分问题，并且在使用高EP的DeepInfer的128芯片超级节点中，该100TPS案例的性能可提升至约8-10K。 （为简化起见，我忽略了实际混合比例，方向上它将类似）。 在这种情况下，假设每个NVL72机架成本为1000万美元（合理的当前走私溢价，基于几个月前每台8 GPU DGX B300服务器超过100万美元 extrapolated），即每GPU 13.9万美元，每950DT 3.7万美元（传闻），Blackwells在实际V4.1F产品模式下可能仍然更具经济性，但在吞吐量最大化场景下显然处于劣势（例如RL rollout）。交叉点大约在每芯片6.8K tokens/s。 鉴于Blackwell推理的高效性以及V4.1F具备如此快的速度（尽管仍产生大量无效转向），DeepSeek用价值不足10亿美元的少量Blackwell集群覆盖API是合理的，即约100个机架（它将在不到一年的时间内收回成本），并全面转向Ascend用于后训练推理。当Ascend SuperPoDs/SuperClusters可用时，他们将在其上训练更大规模的未来模型。