跳到主内容
@wquguru
精选88IT之家(RSS)模型发布/更新

英伟达优化 Kimi K3 推理速度提升 1.68 倍

英伟达优化 Kimi K3 模型推理速度,提升 1.68 倍

原文
发到 X
推荐理由

Kimi K3 作为近期热门的大规模模型,其推理效率的提升对部署者极具参考价值。英伟达通过底层内核优化显著加速推理,展示了算力与模型协同优化的最新进展,值得关注。

IT之家 10 月 18 日消息,调研机构 SemiAnalysis 今日发文称,英伟达通过一项上游 vLLM 优化,让 2.8 万亿参数量的 Kimi K3 模型实现 423 tok/s/user(每用户每秒每 Token)的推理速度,对比相同硬件(GB300 NVL72)性能提升 1.68 倍。

据介绍,该项优化由英伟达 CentML 工程师 Benjamin 完成。它通过大规模 Megakernel 融合,使用 Cute DSL 编写英伟达新推出的解码专用内核。该 Megakernel 包含 1.2 万行代码,代表着 AI 辅助生成高级计算内核的未来方向。英伟达优化 Kimi K3 模型推理速度,提升 1.68 倍。

IT之家注意到,英伟达除此之外,还在为 vLLM 开发 DeepSeek V4.1 等其他模型的优化。

更进一步:量化金融体系

看懂新闻只是起点——沿量化金融路径,把它变成能交付的工程能力

进入量化体系 →

相似阅读

关联信息,但可能不是同一事件