从原子证据到逻辑组合：复合选项的结构化组合推理

大型语言模型在答案选项需要结合显式逻辑运算符下的原子判断时常常失败，即使它们能正确判断各个原子项。我们研究了由AND、OR和NEITHER/NOR连接的复合选项，引入了一个框架，将每个选项分解为原子答案，并对每个原子项进行对比假设评分，使模型永远不会看到复合选项。然后，一个受运算符约束的整数线性规划将校准后的分数组合成单一预测。我们在LOGICAL-COMMONSENSEQA上进行了评估，并引入了LOGICAL-SATA，这是一个源自SATA-Bench的阅读理解基准。我们的框架在人工验证的LOGICAL-COMMONSENSEQA分割上将Macro-F1从48.3提高到77.0，在LOGICAL-SATA上从47.0提高到75.6，其中在NEITHER/NOR上的提升最大。