标题: AnovaX:一种本地化、多智能体语音助手,具备LLM规划、类型化执行器与自适应恢复能力
摘要: 桌面语音助手目前仍以云端管道为主,这些管道会将原始音频发送至机器外部,并暴露一组固定的技能。我们描述了AnovaX,这是一种小型、优先本地化的助手,完全运行在用户自己的计算机上,并将桌面本身作为其操作界面。单个Python进程将以下组件串联在一起:一个唤醒词门控、一个语音管道、一个LLM规划器(Gemini,用于生成工具调用的JSON计划)、一个白名单与黑名单安全层、一个多智能体编排器(将每个计划转化为有界线程池上的类型化子智能体),以及一个自适应恢复循环(当核心步骤失败时接管)。每个工具对应一个专门的智能体类(AppAgent、TypingAgent、BrowserAgent及其他六个),并拥有各自的超时、重试策略及共享资源锁。一个递归的MetaAgent允许规划器将子目标重新委派给自己,嵌套层级上限为两层。恢复循环使用紧凑的ReAct风格提示,并通过推测执行只读工具来隐藏Gemini的延迟。配套的Flask服务器通过本地WiFi暴露一个适合手机使用的远程接口,实时将每个智能体的生命周期事件镜像到手机上,并通过MJPEG流式传输笔记本电脑屏幕,使用户能够实时观看远程命令的执行过程。该项目的意义不在于与Siri或Alexa竞争,而在于展示:一个清晰可读、仅有数千行代码的助手,足以打开应用、在应用中输入文字、运行搜索、协调并发操作、从单步失败中恢复,并完全由另一个房间的手机驱动——而LLM从未直接触碰键盘。