← 返回日报
🌐 机器翻译 · DeepSeek · HN

When AI Builds Itself: Our progress toward recursive self-improvement


当AI自行构建:我们在递归自我改进上的进展

在AI发展史的大部分时间里,人类驱动着其开发周期的每一步。但在Anthropic,我们正将AI开发中越来越多的部分委托给AI系统本身,这正在加速我们的工作。如果这条路走得足够远,并且有足够的算力支持,这一趋势将指向一个能够完全自主设计和开发其继任者的AI系统。这被称为递归自我改进。我们尚未达到那一步,递归自我改进也并非必然发生。但它可能比大多数机构准备应对的时间来得更早。

利用公开基准测试以及Anthropic内部此前未公开的数据,Anthropic研究所正在展示AI已经在加速AI系统的开发。仅举一例:如今,Anthropic工程师每季度提交的代码量平均是2021年至2025年期间的8倍。本文讨论的技术趋势表明,AI系统在未来几年将变得更加强大。这些趋势具有巨大的影响。能够自我构建的AI将成为技术史上的一个重大发展——它可能为世界带来科学、医疗健康等领域的巨大福祉。但完全的递归自我改进也可能增加人类失去对AI系统控制的风险。如果系统能够完全构建自己的继任者,那么我们保护它们、监控它们以及塑造它们行为的方式都将变得更加重要。

2021–2023 构建第一个Claude

在早期,Anthropic的工作看起来和其他科技公司没什么两样:人们在笔记本电脑上编写代码和文档。

2023–2025 聊天机器人

人们使用早期的聊天机器人来协助部分流程,例如生成简短的代码片段并将输出复制到文本编辑器中。

2025–2026 编码智能体

随着智能体变得更能干,它们能够自行编写和编辑代码,有时甚至是整个文件。

今天 自主智能体

智能体现在可以自己运行代码,并将数小时的工作委托给其他智能体。

20XX? 闭环

未来,智能体可能变得足够强大,能够自行构建和训练模型。如果这种情况发生,未来版本的Claude可能会由Claude自身持续改进。

来自外部世界的证据

AI模型改进的速度正在加快。它们能够自主可靠完成的任务时长大约每四个月翻一番,而此前的趋势是每七个月翻一番。2024年3月,Claude Opus 3能够完成人类大约需要四分钟完成的软件任务。一年后,Claude Sonnet 3.7能够处理大约需要一个半小时的任务。又过了一年,Claude Opus 4.6能够处理12小时的任务。¹ 如果这一趋势持续,熟练人员需要数天才能完成的任务今年可能进入AI的能力范围。到2027年,AI系统可能能够处理人类需要数周才能完成的任务。

同样的模式也出现在编码和研究基准测试上。基准测试衡量模型在特定领域中的表现,当模型达到接近100%的性能时,该基准测试即被“饱和”。² SWE-bench是一项针对真实世界软件工程的标准测试:它向模型提供一个实际的开源代码库和一个真实的错误报告,要求其编写一个代码更改来修复问题,并通过项目自身的测试。模型在两年内从得分仅有个位数发展到饱和该基准测试。CORE-Bench测试模型是否能够复现现有研究,这是它们进行原创研究的先决条件。它向AI模型提供一篇已发表论文背后的代码和数据,要求其重新运行所有内容并确认能够复现论文的结果。AI系统从2024年大约20%的时间成功复现结果,发展到十五个月后饱和该基准测试。运行衡量模型完成长时间任务能力基准测试的METR发现,Claude Mythos Preview能够“至少”工作16小时,并且“处于[METR]无需新任务即可测量的上限”。

公开基准测试在很大程度上揭示了这些系统的能力。但它们无法揭示AI系统在加速AI开发本身方面所产生的影响。为此,我们需要来自像Anthropic这样的AI公司内部的直接证据。

来自Anthropic内部的证据

构建前沿模型需要两大类工作。有工程工作:编写代码、搭建基础设施、监督模型训练。还有研究工作:决定进行哪些实验、解读实验结果、确定接下来尝试哪些想法。在工程和研究两个领域,情况是一致的。在工程方面,Claude可以被赋予一个未明确说明的问题,并找出解决方法;人类提供目标,但不再需要提供方法。在研究方面,在执行一个明确指定的实验时,Claude已经能够与熟练的人类匹敌或超越他们。然而,在Claude需要运用判断力来选择工程和研究目标方面,仍然存在巨大的性能差距。这就是今天的AI与未来能够自主设计其继任者的系统之间的差距。

在Anthropic,员工随着经验的积累,通常会承担更开放、更重要的任务。早期,他们执行别人指定的任务,比如:“导出按钮不工作了,请修复它。”随着经验增长,他们被赋予一个目标并自行设计方法,例如:“调查为什么网络在高负载下变慢。”在最高级别,他们决定哪些问题值得研究:“团队下个季度应该构建什么?”我们可以利用Anthropic的内部数据来了解Claude在处理这些不同类型任务方面已经达到了什么程度。

Claude编写了Anthropic相当大比例的代码。截至2026年5月,我们合并到Anthropic代码库中的代码有超过80%是由Claude编写的。³ 在Claude Code于研究预览版发布之前

📖 阅读原文 →