腾讯开源万卡GPU集群监控方案ARGUS

如何管理和监控一个超过 10,000 块 GPU 的集群？

腾讯团队开源了一个叫ARGUS的方案，强！

大模型训练极其贵，一个万卡集群，一天的电费和硬件折旧可能就是几十万人民币。

如果某节点出问题，或通信带宽被浪费了，损失巨大。

ARGUS 解决的核心问题：当集群出问题，能不能在几分钟内找到原因。

论文发现：在万卡规模下，超过 70% 的训练中断，是由网络通信问题导致的，而不是 GPU 本身坏了。

网络拓扑、路由策略、甚至网线质量，都会成为瓶颈。

ARGUS 的做法是：采集每个 GPU 的实时数据，包括计算负载、显存使用、网络带宽、通信延迟，然后自动做关联分析。

一旦发现异常，直接定位到具体是哪块 GPU、哪条链路出了问题。

原始论文见评论区