PTXBench：评估LLM的GPU内核优化能力

我们介绍了PTXBench，这是一个基准测试，用于评估和调整大型语言模型（LLMs）以使用特定于架构的PTX进行GPU内核优化。PTXBench衡量功能正确性、所选目标指令是否在运行时执行，以及在H100和B200 GPU上GEMM和注意力工作负载中相对于前沿库的加速效果。我们的评估显示，特定于架构的PTX能力仍不均衡：在复杂的注意力反向工作负载上成功率大幅下降，且执行目标指令并不一定转化为有竞争力的性能。没有评估的模型在整个套件中始终匹配前沿库。我们进一步使用监督微调来调整Qwen3.6-27B。修复条件训练改善了几个任务，但泛化仍不均衡；数据覆盖、平衡以及推理教师的质量除了数据集大小外也很重要。PTXBench提供了一个可审计的测试平台，用于衡量和改进LLMs利用不断演进的GPU架构的能力。