AI 在斯坦福法学院研究中胜过法学教授
由斯坦福法学院教授 Julian Nyarko 领导的一项突破性研究揭示，法学教授们 overwhelmingly 更倾向于选择 AI 生成的答案，而非同行教师撰写的回答——这一发现可能重塑法律教育的授课方式。这项题为《法学教授更偏爱 AI 而非同行答案》的研究，与美国多所法学院的 16 位教授合作，测试了大语言模型能否有效担任合同法课程的辅导教师。在近 3000 次匿名对比的盲评中，教授们对 AI 回答的评分显著高于其他教授撰写的答案，AI 在 75% 的直接对决中胜出。
“这项研究挑战了关于 AI 在法律教育中角色的重要假设，”Nyarko 表示，他领导斯坦福法学院的“前沿技术法律创新实验室”（liftlab）。他与来自耶鲁、纽约大学、芝加哥大学及其他顶尖机构的同事共同撰写了这篇论文。“我们之所以聚焦法律，恰恰是因为它要求判断力、细致的推理以及驾驭模糊性的能力——而不仅仅是事实记忆。”
大语言模型能推理吗？
这项研究尤其引人注目，因为以往的 AI 评估主要集中于有明确对错答案的学科。相比之下，法律推理要求对相互竞争的论点进行仔细分析，并得出站得住脚的结论。
“坦率地说，我们对结果的显著程度感到惊讶，”Nyarko 补充道。“这些并非简单的问题，答案也显而易见。其中许多问题需要综合复杂材料，将其应用于新情境，并以有助于学生培养自身分析能力的方式解释法律概念。”
参与者设计了 40 个具有代表性的合同法问题（学生可能在课后或答疑时间提出），撰写了自己的答案，然后在不知道回答来自 AI 还是其他参与教授的情况下进行评估。AI 系统的表现与研究中最佳的人类教师相当。或许最引人注目的是：教授们认为 AI 回答具有教学危害性的比例仅为 3.5%，而同行撰写的答案则为 12%。
“在大多数测试 AI 的领域，都存在一个正确答案。而在法律领域，通常并非如此，”合著者、耶鲁法学院教授 Sarath Sanga 表示。“两个对立的论点可能都是好的。我们想知道的是，AI 能否达到律师用来评估彼此论点的潜在专业标准。在这种情况下，答案是肯定的。”
研究团队采取了广泛的预防措施以确保研究的有效性。他们校准了 AI 回答的长度和结构以匹配人类答案，使用了多种评估方法，并让教授评估回答是否可能误导或混淆学生。
变革法律教育
“我们设计这项研究时力求尽可能严谨，因为其影响重大，”Nyarko 解释道。“法律教育旨在培养未来的律师具备批判性思维、有说服力地论证以及驾驭伦理复杂性的能力。我们的研究朝着发现 AI 能否支持这一使命迈出了重要一步。”
该研究的第一作者、Nyarko 的 liftlab 研究员 Alejandro Salinas 强调了其教育意义：“我们的研究将注意力转向 AI 辅导在像法律这样需要判断力的领域能为学习带来什么。我们发现，当由法律教育者评估时，AI 辅导教师能够提供高质量、按需的支持，作为课堂教学的补充，并可能拓宽获取专家指导的渠道。”
该研究还考察了特定的 AI 模型，包括商业辅导系统和 Google 的 NotebookLM，发现其表现水平各异。然而，即使上下文限制影响了 AI 的回答，教授们仍然经常更偏爱它们而非人类撰写的替代方案。
这些发现正值全美法学院在努力将 AI 工具融入法律教育，同时保持严格学术标准之际。一些机构已拥抱 AI 实验，而另一些则对潜在风险（包括幻觉、过度依赖以及批判性思维能力的削弱）持谨慎态度。
“我们的研究评估了 AI 工具给出的回答质量。但如何实施这些工具以最有效地改善学生学习，仍是一个悬而未决的问题。因此，我们并非主张全面采用 AI 辅导教师，”Nyarko 提醒道。“但我们的数据表明，一概怀疑可能同样没有根据。讨论应从‘AI 能否给出准确、高质量的回答’转向‘我们如何负责任地部署它以造福我们的学生’。”
查看论文
链接至 SSRN
关于 liftlab
Liftlab 是法律 AI 领域首批将研究、原型开发与行业实时协作结合起来的学术努力之一。其使命是通过利用 AI 及其他前沿技术，增加私营部门获取高质量法律服务的渠道。为弥合理论与实践之间的差距，liftlab 的工作超越了概念化阶段，包括构建原型以帮助探索基于 AI 的解决方案的实用性。
关于斯坦福法学院
斯坦福法学院是全球法律学术与教育的顶尖机构之一。其校友是法律、政治、商业和高科技领域最具影响力的决策者之一。教职成员在最高法院进行辩论、在国会作证、产出杰出的法律学术成果与实证分析，并经常作为法律与政策专家为全国媒体撰稿。斯坦福法学院建立了一种法律教育模式，提供严格的跨学科训练、实践经验、全球视野以及对公共服务的关注。
相关人物：
Julian Nyarko
相关组织：
前沿技术法律创新实验室（liftlab）
媒体联系人
媒体