好的，这是您要求的英文文章的中文翻译，已按照要求保留原文结构、Markdown 格式，并处理了技术术语和专有名词。
为5岁儿童构建实时AI导师
工程 2026年7月7日 在 <1000 毫秒内教导孩子：实时导师背后的架构
我们着手构建首个AI导师，用于教授4-9岁儿童数学和阅读。要让AI真正教好一个五岁孩子，必须将教学法融入工程之中。孩子等不了缓慢的回复，看不懂聊天界面，也无法忘记模型说错的任何内容。我们想分享一些塑造了我们构建实时AI导师架构决策的经验教训。
对话中2秒的停顿，对孩子和对开发者，甚至对与自动语音代理通话的成年人来说，感受完全不同。几秒钟就足以让孩子的注意力分散，学习停止。优秀的老师能做到这一点，而无需停下来思考。他们会立即回应孩子，即使他们暂时不给出答案，让孩子自己思考。教学是在当下时刻匹配正确的方法，而大多数方法并非直接给出答案。
当我们着手为4-9岁儿童构建AI导师时，我们希望构建一个真正能教学的导师，而不仅仅是一个回复迅速的聊天机器人。我们知道底层的约束会很严格，而且没有商量余地：每一轮交互的响应时间必须低于1秒。大多数智能体通过推理预算来权衡速度与质量。我们的架构必须将教学法作为基础，并实时回应孩子。
我们抛弃了标准的智能体循环。
一位老师需要不断决定如何引导学生：是说些什么，在白板上画图，玩个游戏，还是完全改变话题。当今智能体的标准模式是工具循环。LLM输出一个或多个工具调用，等待它们执行，观察结果，然后决定下一步做什么。因此，构建教学智能体的直接方法是为老师可能采取的每个动作创建一个工具。
但工具循环存在延迟问题。前沿模型需要2-3秒生成第一个token，然后以大约每秒30个token的速度解码。我们的动作平均需要几十个token。加上往返延迟和音频播放，标准循环意味着每句话或屏幕上的每次变化之间会有3-4秒的空闲时间。
在我们早期的一次测试中，我们实时目睹了这种情况。一个六岁的男孩等着智能体思考，然后问道：“为什么他什么都不做？什么时候开始？好无聊。” — 6岁儿童
同一轮测试中的另一个孩子发现，她只需要部分时间集中注意力就能跟上。延迟教会了她对导师充耳不闻。那一刻，她也停止了学习。
一个方便的解决方案是使用更小、更快的模型。 但这暴露了一个范围问题。教学是一项广泛的任务。一个导师在一节课中可能会在几十个动作之间进行选择，而最难的抉择往往是忍住不给出答案，而是给个提示，问一个更小的问题，或者让孩子足够努力地思考，以便最终领悟到要点。较小的模型难以在如此广泛的任务范围内遵循指令。我们早期使用小模型的智能体版本虽然响应迅速，但总是直接给出答案。每次它这样做，就剥夺了学习发生的时刻。
因此，我们构建了一个自定义框架来平衡指令遵循、延迟和灵活的动作空间。该模型在单个响应中流式输出多个动作。一个解释器在模型仍在生成后续动作时，解析并执行每个动作。孩子只需等待大约30个token后的第一个动作，而无需等待整个响应完成。
将生成与执行分离还为我们带来了另外两个好处。我们可以根据情况更改可用的动作。例如，当屏幕上显示问题时，智能体会获得关于搭建脚手架（scaffolding）的指令和选项，而不是直接回答。并且我们可以在不增加延迟的情况下验证每个动作（在正常路径上）。只有当流式输出产生无效动作时，我们才会中断并重新生成，否则执行过程从不暂停。
这一切都是有代价的。掌控循环意味着我们必须构建自己的可观测性和追踪系统，而不是依赖现有框架。而且我们是在逆流而上：前沿模型在工具使用模式上经过了大量的后训练。如果未来的模型足够快，我们的框架设计为可以被更简单的循环所取代。
经验教训： 智能体框架正朝着后台工作的方向发展，在那里速度与思考之间的权衡很容易。实时学习则处于另一个极端。以对话速度进行教学意味着我们必须自己掌控循环。
一个好的导师会预测孩子下一步要做什么。
一位真正的老师既会反思学生刚刚做了什么，也会预测他们接下来会做什么。把同一节课教一百遍，你就能看到模式。但你也了解这个孩子，知道他们卡在哪里，什么能激发他们的兴趣，今天可能会在什么地方遇到困难。你带着计划开始一节课，并随时调整。
我们将与孩子互动的智能体称为“对话者”。我们的早期实验表明，更小的动作空间能带来更好的指令遵循效果，因此我们构建了第二个智能体，即“规划者”，来根据课程目标审查对话并管理对话者的上下文。
第一个版本是同步运行的，这当然太慢了。在固定轮次后过期的计划不可靠。让对话者请求新计划也同样不可靠。有效的方法是使用一个异步的规划者，它在孩子思考或说话时运行，就像老师在对话间隙中进行反思和预测一样。
这些间隙正是做出判断决策的地方：是挑战孩子还是让他们成功，是停留在当前概念上还是继续前进。老师凭直觉做出这些判断；模型则必须通过推理来达到这一点，而异步运行正是为它争取了时间。
异步也意味着两个智能体同时运行，都在读写共享状态而无需协调。因此，我们存储每一轮交互，