摘要
当一个语言模型评判另一个模型的代码是否正确时，它不会报告证据的缺失。它会给出一个自信的裁决并附上推理，与它有依据时给出的裁决毫无区别。多智能体验证将判断分解为可核查的主张，并逐一对照证据进行验证，这是一种有前景的应对方案，当证据是一组检索到的文档时效果良好。我们认为，此类方法对其证据有两个要求：证据必须独立于被审查的答案，并且必须在被比较的两个候选之间有所不同。第二个条件在检索文档的场景下自动成立，而在代码评判中则不再成立。我们运行了 MARCH——一个已发表的框架，未经修改——在两个代码评判基准上进行了80组按条件分单元的测量，发现它在78%到95%的比较中宣称两个解决方案同样好，准确率仅为4.4%，而同一模型直接作答时准确率达到43.7%。更简单的问题或更大的评判模型都无法改变这一结果。从流水线自身日志中提取的两项测量无需标签即可解释这一现象。以其中一项作为门控条件，流水线拒绝做出它无法完成的比较，将准确率从20.7%提升至36.9%，同时仍然回答了所有比较中的一半。本文的贡献不是一个更准确的评判器，而是一种无需标签的方法，用来判断评判器何时对其答案没有依据。