OpenAI发布TruthfulQA基准，衡量模型模仿人类错误程度

OpenAI发布了TruthfulQA基准，旨在衡量语言模型在回答问题时模仿人类常见错误和误解的程度。该基准包含817个问题，覆盖38个类别，如健康、法律、金融等，每个问题都设计为可能引发常见误解。模型需生成答案，并由人工评估其真实性。初步测试显示，GPT-3在TruthfulQA上的准确率仅为58%，而人类为94%。该基准有助于识别和改进模型的真实性，减少错误信息传播。