摘要
预测代理（Forecasting agents）越来越多地结合语言模型推理、检索、集成和校准，但每种行为何时值得信赖仍不明确。我们在 ForecastBench 风格的二元预测任务上研究这一问题，将选择检索、推理、服从市场先验或使用历史类比视为可观测的代理行为，而非隐藏的实现细节。我们的核心发现是：机制选择依赖于来源——对于某些数据生成过程，结构化类比占主导地位；而对于其他过程，市场/群体风格和保守基线更优。我们引入 ReliabilityRoute，一种结构性干预方法，利用可靠性特征（如历史覆盖率、市场先验可用性、来源先验锐度、证据强度、证据分歧和时间跨度）来引导预测代理的行为。一个固定的 2024 年拟合规则与手工分类法高度吻合，且无需硬编码来源名称决策；而一个前向自调整规则从先前已解决的版本中重新拟合阈值，在我们 16 个后续 LLM 版本的确定性系统中获得了最佳平均 Brier 分数。增益是适度的，历史/搜索基线仍然极具竞争力。因此，主要贡献是一项行为压力测试，表明更多推理并不总是更好；预测代理应首先估计哪个证据来源值得控制，路由策略本身应在可审计约束下自适应，可复现性工件可在此 https URL 获取。