摘要
LLM 评委正越来越多地被用于评估和改进 AI 生成的输出，但其在复杂专业工作中的可靠性仍不明确。我们通过 Vibe Patenting 这一面向 AI 智能体评估的端到端专利起草测试平台来研究这一问题。一个单独调用的 LLM 评委对生成的专利草稿进行评估，并提供结构化反馈以支持迭代修订。在多项发明和起草智能体配置中，评委引导的修订持续提升评委评估的质量，而无引导的修订往往趋于饱和。值得注意的是，迭代式评委反馈使一个低推理能力的智能体能够接近一个成本高得多的高推理能力智能体的表现。更强的模型和更多的推理通常能提升评委评估的起草质量，而领域特定的智能体工作流则带来进一步增益。我们通过一位专业专利律师的独立评估来验证该评委，发现存在有意义但强烈依赖具体指标的一致性，以及系统性的校准差异。这些结果既凸显了 LLM 评委作为复杂专业工作流的评估器和优化信号的实用性，也揭示了其局限性。