How Far Did They Go? The Persuasive Tactics of Covert LLM Agents in a Discontinued Field Experiment

摘要：本研究分析了一个已终止的现场实验中公开的数据集，该实验在 Reddit 的 r/ChangeMyView 板块进行。这项干预由身份不明的外部研究人员实施，并在引发伦理争议后终止，涉及未公开的 AI 生成账户与用户进行实时辩论。在公开披露后，Reddit 授权版主发布了 AI 生成评论的存档，这为研究大型语言模型如何在未披露身份的情况下，在注重身份认同的讨论论坛中运作提供了罕见的机会。我们对这一语料库进行了结构化内容分析，评估了身份表演、权威信号、对齐策略以及认知启发式的激活情况。超过三分之二的评论涉及身份定位或身份采用，几乎所有评论都包含对齐动作和权威主张，而绝大多数评论触发了认知偏差——尤其是确认偏差、代表性偏差和可得性偏差。这些模式系统性地共同出现，构成了一种旨在追求说服效率而非真实参与讨论的修辞架构。与人类撰写的 CMV 反驳论点相比，AI 代理在每个维度上都颠倒了典型分布：更密集的权威使用、更具对抗性的对齐、更依赖外部引用而非经验基础。在此类环境中，真实与合成的认知立场之间的区别日益模糊——这种不对称性仅靠披露要求无法解决。研究结果指向了能够评估 AI 系统如何构建可信度（而不仅仅是判断其是否存在）的审计框架。