Cultivar：面向污染检测与本地化鲁棒性的对比翻译基准

多语言翻译基准通常以英语为源语言，并翻译成其他语言，将语言对作为评估单位——这种设计容易随时间受到污染，并忽视地域和文化因素。因此，我们提倡源对比评估，并通过Cultivar（FLORES的一个本地化子集）来实现，从而支持特定地域的翻译评估。当与未本地化的对应部分配对时，性能差异可以用于探测数据污染和本地化鲁棒性。我们对32个开放权重模型进行了基准测试，发现机器翻译专用模型的鲁棒性较差，少数模型可能过拟合FLORES，且模型倾向于将美国内容翻译得比其他地区更好，无论语言如何。