广义智能体迭代：迭代策略改进与递归自我改进的统一形式化框架
摘要：当我们谈论递归自我改进（RSI）时，我们谈论的是一种现象、一种机制，还是一种前景？在迈向自主且不断演化的智能的过程中，RSI 在诸多尺度上被广泛声称，然而尚不存在一个能够形式化描述这些新兴实例的统一框架。其在经典领域中的对应物——迭代策略改进——以广义策略迭代（GPI）为特征，这是一个具有广泛适用性和良好理论性质的框架，但仅限于更新原则和评估基础位于智能体外部的情形。在本文中，我们提出广义智能体迭代（GAI），一个将迭代策略改进和 RSI 描述为同一学习范式两种情形的形式化框架。GAI 将智能体定义为系统中可修改组件的配置，并将学习过程建模为智能体评估与智能体改进的循环。两个关键维度随后区分了这些实例：改进机制是否属于智能体的一部分，以及衡量其所依据的标准是否扎根于智能体外部。前者划定了 GPI 与 RSI 之间的边界，后者决定了系统是锚定的、目标漂移的，还是完全自指的。此外，我们使用这些坐标将现有系统置于相同的两个轴上，并使递归自我改进的缺陷能够逐一条件地加以陈述。我们将本文视为探索 RSI 形式化刻画的第一步，该刻画建立在经典理论之上，使现有系统可比较，并为分析和设计新系统提供有原则的基础。