跳到主内容
@wquguru
精选80Hugging Face 每日论文(json_list)论文研究

训练留痕:中心化残差签名验证语言模型血统

Training Leaves Traces: Centered Residual Signatures for Language Model Lineage Verification

原文
发到 X

开放权重语言模型经过微调、量化、剪枝和合并,但其来源往往缺乏文档记录。我们研究无数据白盒谱系验证:仅凭权重能否揭示两个兼容模型检查点是否共享祖先? 残差训练在分支产物中产生共享的、与身份对齐的组件,因此仅凭该结构无法确立谱系。我们将其移除,并跨残差块比较检查点特有结构,得出一个针对独立检查点校准的对称谱系评分。在残差-MLP和GPT-2基准上,该评分能将微调、LoRA合并、剪枝和量化后代与独立及蒸馏模型区分开(AUROC=1.0),从而区分权重谱系与行为相似性。在保持功能的检查点清洗实验中,权重空间基线失去优势或失败;我们的评分保持不变,且在GPT-2上比最接近的稳健基线快76倍。投影配对信号出现在六个语言模型家族及更广范围内,一项案例研究正确识别了3个相关和7个无关的LLaMA-2公开检查点。综合来看,这些结果为兼容的开放权重语言模型检查点确立了一种被动、无数据的谱系信号。

更进一步:量化金融体系

看懂新闻只是起点——沿量化金融路径,把它变成能交付的工程能力

进入量化体系 →

相似阅读

另一事件,读法相近