摘要：强化学习中的策略复杂性、反应时间与有限理性
生物智能体并非在无限计算的条件下学习。对于人类而言，学习和选择受到感知、注意力和工作记忆约束的塑造，这些约束限制了有多少状态信息能够引导行为，从而限定了策略复杂性。标准的强化学习模型通常在不显式表示这些内部成本的情况下优化奖励，使其不太适合作为生物智能的模型。我们推导出 MI-SARSA，一种同策略时序差分算法，它通过学习到的边际动作先验以及对状态特定偏离该先验的惩罚，将互信息正则化纳入其中。这产生了一个序列学习模型，其中状态信息在其期望回报收益足以证明额外信息成本合理时被选择性地使用。关键的是，支配策略压缩的同一状态特定信息成本也产生了对反应时间的试次级预测，使 MI-SARSA 区别于大多数强化学习模型——后者预测选择或回报，但不预测延迟。在实证上，MI-SARSA 产生了奖励-复杂性权衡，更强的信息惩罚产生更简单的策略，具有更低的控制成本和更快的反应时间。在环境变化下，增加正则化减少了切换后的性能退化，但也降低了渐近回报，揭示了一种鲁棒性-容量权衡。总之，这些结果将 MI-SARSA 定位为一种认知约束下有限序列学习的模型。