智能体技能下游效用的实证研究
摘要：Agent Skills 将过程性指导和资源打包以供复用，但一个相关的 Skill 并不一定能提升任务表现。现有研究刻画了 Skill 内容并评估了下游性能，但对效用如何取决于内容、执行配置和多 Skill 组织的解释仍然有限。我们在 87 个 SkillsBench 任务上开展了一项实证研究，将下游效用定义为在相同模型—执行框架配置下，同一任务上相对于 No-Skill 的通过率差异。我们在九种配置下比较相同的 Skills，然后在三种选定配置下考察其他已发布的 Skills 以及固定 Skill 集合的组织方式。我们从包含 37,596 个 Skills 的精选语料库中检索市场候选。LLM 辅助分析内容、执行轨迹和最终产物，随后由作者审查，将所提供的支持与实际使用及任务结果关联起来。在 36.78% 的任务上，相同的 Skills 对某些配置有帮助，却对其他配置有害，轨迹显示推荐流程可能成为执行负担。相关性排名会忽略更有用的候选。在所评估的候选集合中，根据对所需操作的支持进行重排，使三种配置下的首选通过率提高了 4.35–5.80 个百分点。我们提炼出 17 项编写实践，将可执行流程与恢复、任务要求的保持以及对最终产物的检查联系起来。Stage Plan 和 Dependency DAG 优于仅使用顺序，其中 DAG 的额外收益集中在提供五到六个 Skills 的任务上。这些发现指导开发者评估可用的操作支持，允许在保持任务要求的同时调整流程，并在组织 Skills 时明确产物依赖关系。