LittleLearner：教学控制知识暴露下的语言模型

现代语言模型在异构的网络规模文本语料库上进行训练。因此，研究知识和技能的获取十分困难，因为难以刻画模型先前接触过的相关内容。为应对这一挑战，我们引入了 LITTLECURRICULUM，一个精选的 88B-token 预训练语料库，专门针对美国小学教材内容，并明确排除了五年级以上教授的概念、事实和词汇。在 LITTLECURRICULUM 上从头训练一个 5B 参数的 LLM，得到了 LITTLELEARNER——一个具备足够语言能力以进行开放式评估的模型，但其知识和能力边界清晰，且与可解释的课程指南相对应。我们发布 LITTLECURRICULUM 和 LITTLELEARNER，作为一个发展受限的沙盒，用于研究模型在明确定义的训练范围内如何获取、表示和使用数据。我们在第一组实验中展示了该沙盒的实用性，这些实验通过后训练和上下文学习注入新知识。这些方法使 LITTLELEARNER 能更好地利用现有知识，但并未提升超出范围的能力。我们的发现凸显了这一受控环境的价值。