← 返回日报
🌐 机器翻译 · DeepSeek · ArXiv

Characterizing Web Search by Conversational LLM Agents: From Search Decisions and Strategies to Results and Responses


摘要:以对话式 LLM 智能体刻画网络搜索:从搜索决策与策略到结果与响应

摘要:对话式 LLM 智能体日益依赖网络搜索,但智能体搜索的端到端生命周期仍鲜为人知。我们提出了首个跨四个主要对话平台(ChatGPT、Claude、Grok 和 DeepSeek)的网络搜索研究,结合真实世界用户交互(invivo)与使用同一平台模型 API 的受控实验(invitro)。我们考察了调用网络搜索的智能体决策质量、其制定查询的策略、其收到的搜索结果中潜在的领域偏好,以及它们在将搜索结果转化为有依据响应时所做的选择。我们发现,网络搜索决策在不同平台和模型之间差异显著,而更频繁地调用网络搜索并不必然带来更好的响应质量。我们进一步表明,对话式智能体会采用不同的复杂查询策略,并且平台特定的搜索引擎会返回来自其偏好领域的搜索结果。最后,尽管响应在很大程度上以搜索结果为依据,但一些主张依赖于未引用的搜索结果,这引发了对归因和可靠性的担忧。我们的发现对未来 AI 智能体和面向对话式检索优化的网络搜索工具的设计具有重要意义。

📖 阅读原文 →