当Agent开始"凭直觉"做决策,我们该信它几分?
在大模型Agent的执行框架中,每完成一个任务,系统就要做出大量微小但关键的决策:调用哪个模型、选用哪个工具、检索到的文本是否相关、输入是否合规。这些决策速度极快,却几乎无人系统验证。本文提出了一套配对自审计的评估方法,专门针对这类"系统1"式快速决策模型进行严格检验。核心发现令人不安:快速决策模型在速度上的优势,往往以牺牲决策可靠性为代价,而现有评估体系几乎无法捕捉这些隐性错误。对于正在将Agent推向生产环境的团队来说,这篇论文敲响了一记警钟——你信任的那些"秒级决策",可能正在悄悄积累系统性风险。
Fast Models, Slow Evidence: A Paired and Self-Audited Evaluation of System-1 Decision Models for LLM Agent Harnesses
Agent harnesses make many small, typed decisions per task: which model to call, which tool to use, whether retrieved text is relevant, whether an inpu