← 返回日报
🌐 机器翻译 · DeepSeek · ArXiv

Making Failure Safe: A Constrained, Verifiable Agent Framework for Open-Web Data Collection


摘要: 大语言模型(LLM)与智能体能够根据自然语言需求生成网络爬虫,但由于依赖错误、选择器失效、模式不匹配以及页面结构异构等问题,直接生成的方式仍不可靠。我们提出了一种受约束、可验证的智能体框架,将 LLM 的输出从自由形式的代码转变为类型化的 JSON 采集器配置,结合了六类采集器分类体系、模板与工具函数约束、静态 Airflow DAG 执行、基于规则的质量检查以及结构化反馈修正。在 138 个任务上的实验表明,该分类体系支持基于描述的需类型识别,同时确认稳定的实例化需要在初始描述之外完成来源、字段和执行约束。在 80 个独立来源验证的任务上,该框架以零执行阶段 LLM 令牌消耗和最低的平均墙钟时间运行,以适中的一次性生成质量换取了可复用、确定且可验证的执行路径,适用于重复性的定时采集任务。这些结果将该框架定位为一种可复用、低成本且可验证的执行路径,适用于重复性的开放网络数据采集。

📖 阅读原文 →