摘要： 智能体 AI 工具为自动化科研管线中的软件开发瓶颈提供了一条有前景的路径，尤其适用于那些需要领域专家花费数天到数月构建的阶段——在这些阶段中，科学家关心的是正确性和鲁棒性，而非实现细节。我们针对一个果蝇光遗传学数据到发现管线，对通用编程智能体进行了实证研究。我们在规模远超现有基准的任务、数量级更大的数据集，以及基于领域专家标准的评估准则上评估这些智能体。我们表明，智能体能够解决管线中的多个独立阶段，这表明阶段级自动化是可行的。通过分析智能体的代码迭代，我们发现它们最困难的情况是缺乏预定义的迭代标准，此时它们必须运用自己的科学判断来评估当前解决方案——这是一个关键且尚未解决的挑战。与科学实践相呼应，它们有时会尝试通过目视检查中间输出来进行自我评估，但在很大程度上无法解读所见内容或据此采取适当行动。要正确完成端到端管线，需要将各个管线阶段的成功串联起来，而这超出了智能体当前的能力。我们识别出当前基准中基本缺失的挑战，包括计算资源管理以及对大规模保留数据集的泛化能力。最后，我们提炼出构建科学任务以及为开放性问题制定严格评估准则的原则。