SafeAtlas-VL：基于大规模数据的多模态安全分级评估与Guard模型

多模态安全审核需要区分源自视觉内容、用户意图和助手行为的各类风险。然而，现有的安全措施通常针对单一判断目标进行训练，并将安全评估简化为二元决策。因此，在多模态交互中难以比较风险，且模糊案例被掩盖。我们引入了 SafeAtlas-VL，这是一个包含 150 万训练实例的数据集，它在图像级、请求级和响应级判断上采用了五级有序量表。我们从真实世界和合成来源精心策划了广泛的安全相关数据集合，并应用了一种感知分歧的标注程序。由此产生的数据集涵盖了 15 个伤害类别和 55 个细粒度子类别，覆盖了广泛的多模态安全场景。我们还构建了 SafeAtlas-Bench，这是一个包含 5,000 个实例的保留测试集，用于评估五级预测和连续风险评分。基于该数据集，我们通过目标条件微调训练了 SafeAtlas Guard 系列模型，用于多模态安全检测。我们的模型不仅执行安全级别的五向分类，还通过软累积序数头将安全映射到连续分数。实验结果表明，在我们数据集上训练的守卫模型表现出强大的泛化能力：即使不使用其他基准的训练集，它们在相应的测试集上也取得了具有竞争力的性能。值得注意的是，我们的 8B 模型达到了整体最佳性能，在 F1 分数上比之前的 SOTA 高出约 4%。代码、数据和模型已发布以支持进一步的研究。警告：本文包含可能令人反感、有害、血腥或引起不适的示例数据。