前缀不变性审计：两遍前向定位序列模型因果泄漏

我们形式化了前缀不变性：位置t处的表示不得依赖于未来输入。我们提供了一种轻量级审计方法，仅需两次前向传播，无需训练或梯度，即可精确定位因果性破坏之处。仅检查注意力掩码并不充分：即使掩码正确，泄漏仍可能通过扫描或归一化发生。在八个检查点上的192次注入故障试验中，掩码检查未发现任何问题，而我们的审计方法定位了全部192/192个故障，并在Zamba2和Nemotron-H中发现了缺陷。