OpenAI 发布神经语言模型缩放定律论文

OpenAI 发表了关于神经语言模型缩放定律的经典论文，该论文首次系统性地揭示了模型性能与模型规模、数据量、计算量之间的幂律关系。研究发现，语言模型的测试损失随模型参数量、训练数据量和计算量的增加而呈幂律下降，且存在明显的边际收益递减。这一发现为后续大模型的发展提供了理论基础，指导了模型设计和资源分配。论文还讨论了过拟合与欠拟合的边界，以及最优计算量分配策略。该工作对 AI 行业产生了深远影响，成为大模型 scaling 范式的基石。