🗞️ AI 日报 · 10月9日

这期MIT Technology Review的Download通讯聚焦两个话题：AI的拒绝行为和减肥药的副作用。其中AI拒绝问题值得深挖——当前大模型的拒绝机制存在严重缺陷，要么过度拒绝（把正常请求当有害请求），要么拒绝不足（该拦的没拦住）。更根本的问题是：拒绝的边界由谁定义？训练数据中的价值观偏好如何转化为模型的行为准则？当AI说「我不能帮你做这个」时，它反映的是开发者的意志、标注者的判断，还是某种统计上的模糊共识？这个问题不解决，AI的可信度就始终悬在半空。

MIT Technology Review这篇评论直指一个被行业刻意回避的问题：我们太相信AI能可靠地拒绝有害请求了。现实是，越狱攻击层出不穷，拒绝机制被反复绕过，而每一次「成功拒绝」的演示都被当作安全能力的证明。作者认为，把安全责任寄托在模型的拒绝能力上，本质上是在用一个概率性的、可被对抗攻击的系统去承担本该由制度、流程和人类监督来完成的职责。真正需要建设的不是「更好的拒绝」，而是「不依赖拒绝也能安全」的系统架构。这个观点对当前AI安全叙事是一次有力的纠偏。

企业级AI Agent正在成为刚需，但训练和评估它们面临一个死结：真实业务数据涉及隐私和合规，根本拿不到。这篇论文提出了一条新路径——用可扩展的Agent-系统交互来合成连贯的企业数据。核心思路是让多个Agent在模拟的企业环境中互相调用工具、执行任务、产生交互轨迹，从而生成既有结构又有语义一致性的训练数据。这相当于给AI造了一个「数字孪生公司」，让Agent在里面上班、犯错、积累经验。如果这条路走通，企业AI的落地速度可能不再被数据卡脖子，而是被想象力卡脖子。

工具调用型Agent有个隐形杀手：每一轮工具返回的观察结果里，真正有用的信息可能只占原始payload的零头。上下文窗口被垃圾信息塞满，推理质量断崖式下跌。这篇论文研究了「Agent自主控制的遗忘」——让Agent自己决定哪些观察结果该丢、哪些该留、哪些该压缩。关键难点在于可逆性：忘了之后如果发现还需要，能不能找回来？作者在实践中探索了可逆的上下文策展机制。这意味着Agent的记忆管理正从「被动截断」走向「主动策展」，对长流程任务和多轮工具调用场景影响深远。

Agentic AI的一个诱人承诺是自我改进：跑得更久、获得更多辅助、甚至修改自己提出和验证输出的方式，就能越做越好。但这篇论文泼了一盆冷水——性能分数的提升未必来自真正的能力增长，可能只是搜索空间变大或验证器被钻了空子。作者系统性地梳理了Agent自我改进的基础机制和理论极限，区分了「真进步」和「假进步」。对于正在押注Agent自进化能力的团队来说，这是一份必要的清醒剂：不是所有曲线上升都叫scaling law。

自我改进的LLM Agent能适应信贷规则变化，但一个致命矛盾是：Agent如果重写了自己，审计人员要审查的那个「制品」就不存在了。这篇论文提出了一个精巧的架构约束——把「Harness」作为唯一可变表面，Agent只能在这个合规边界内自我进化，同时设置可量化的准入闸门。换句话说，Agent可以在笼子里进化，但笼子本身不能动。这对金融、医疗等强监管场景的Agent部署极具参考价值：自进化的前提是可审计，可审计的前提是可变范围被严格定义。

空中视觉语言导航（VLN）Agent通常用细节丰富、与轨迹对齐的指令来训练，但真实用户只会说「往左飞，看到红房子停」这种简短意图性指令。这种训练-推理的分布鸿沟导致Agent在实际使用中表现拉胯。这篇论文提出「轨迹锚定的指令翻译」方法，在不重新训练冻结Agent的前提下，把用户的简短指令翻译成Agent能理解的详细指令。本质上是在用户和Agent之间加了一个「翻译层」，让已经训练好的Agent不用回炉就能听懂人话。这对无人机配送、巡检等场景的落地是关键一步。