← 返回日报
🌐 机器翻译 · DeepSeek · MIT TR

AI is more likely than humans to form biases when hiring


AI 在招聘时比人类更容易形成偏见

人工智能(AI)在招聘时比人类更容易形成偏见。AI 不仅从训练数据中学习刻板印象,它还能自己创造出新的刻板印象。

存档页面:2026 年 7 月 20 日 Stephanie Arnett/MIT Technology Review | Adobe Stock

执行摘要

下次你申请工作时,AI 可能会在任何人看到你的简历之前先进行筛选。但我们有充分理由质疑 AI 是否能公平地评判你。研究人员已经知道,大型语言模型(LLM)会从训练数据中吸收人类的偏见。新的研究表明,LLM 还能从自身经验中发展出偏见——并且比人类更倾向于对求职者形成刻板印象。随着 AI 公司竞相构建能够记住用户最细微细节的智能体模型,它们可能正在为这些偏见的形成提供弹药。

普林斯顿大学和芝加哥大学的研究人员让包括 ChatGPT、Claude 和 Gemini 在内的 LLM 参与了一个模拟招聘游戏,该游戏改编自一项探索人类如何形成刻板印象的心理学研究。每个模型被告知,它已被一个虚构城市的市长聘为顾问,随后被要求协助为 20 个职位招聘人员,这些职位包括医生、律师、儿童保育员和清洁工。候选人来自四个虚构的族群:Tufa、Aima、Reku 和 Weki。在每一轮中,都有一个新职位空缺和四名候选人,每个族群各一名。在模型雇佣了一名候选人后,它会得知该候选人是否成功胜任工作,然后进入下一轮。模型被要求在 40 轮中尽可能多地做出成功雇佣。

模型们并不知道,所有候选人在每项工作上的成功概率是相等的。然而,模型们很快就开始根据早期对雇佣结果的观察,将不同族群的候选人分配到不同的工作中。例如,当一个模型得知一名 Aima 族人在医生(被认为需要高度热情和能力的职位)岗位上失败后,它便避免雇佣所有 Aima 族人担任医生。相反,它开始雇佣 Aima 族人担任清洁工,模型将清洁工归类为比医生需要更少热情和能力的职位。

相关故事

OpenAI 在印度规模巨大。其模型充斥着种姓偏见。 阅读更多

模型按人口群体对人进行刻板印象化的倾向甚至比原始研究中的人类参与者更强。在该研究的隔离量表上,2 分意味着每个群体都被完全限制在自己的职业领域内,人类参与者得分为 0.84。模型的得分大约高出 65%,其中 OpenAI 的推理模型 o3 得分为 1.83,接近最高可能值。

这是因为 LLM“确实渴望从有限的数据中做出概括”,该研究的合著者、普林斯顿大学的博士生 Ryan Liu 说,该研究于 7 月在首尔举行的 ICML 会议上以论文形式发表。“这实际上就是它们被优化的主要目标。”

每个决策者,无论是人还是机器,都面临着在坚持过去有效的方法和尝试可能效果更好的新方法之间进行权衡——心理学家称之为“探索-利用困境”。这就像在一家新餐厅和你可靠的最爱之间做选择。由于 LLM 是在数学、编程和科学问题上训练的——这些任务奖励的是仅从少数例子中进行概括的能力——它们可能过早地基于直觉做出决定。而帮助 LLM 破解逻辑谜题的相同本能,也使它们迅速形成刻板印象。在实验中,具有更高推理能力的新模型,如 OpenAI 的 o3 和 DeepSeek 的 R1,表现出了更强的偏见。当 LLM 在社会情境中急于概括时,“事情就容易出问题,”Liu 说。

OpenAI 和 Anthropic 没有回应置评请求。

未参与该研究的康奈尔大学计算机科学家 Angelina Wang 表示,这一发现现在尤其重要,因为聊天机器人正在获得改进的记忆和个性化功能。她说,当聊天机器人利用其之前的对话历史时,它可能会“过度依赖之前经历过的同类行为”并形成偏见。然而,仅仅让聊天机器人记住更少的信息并不是解决办法,因为用户希望聊天机器人记住他们说过的话。“我们仍在努力找出既不过多也不过少的恰当记忆量,”Wang 说。

告诉模型要公平并没有显著改变其行为。“要么它无法将这些价值观付诸行动,要么这个过程被试图优化以做出最多正确雇佣的目标所淹没,”Liu 说。但是,向模型承诺为多元化招聘提供额外奖励,则使它们的偏见大大减少。因此,诀窍在于设计能够“融入理想的社会价值观,以使大型语言模型以符合社会期望的方式行事”的目标,Liu 说。

当模型被告知更多关于个人的信息时,它们的偏见也减少了。在同一研究的另一个实验中,研究人员要求模型将不同族群的成员重新安置到加拿大的各个城市。当模型被告知与适应新城市能力相关的个人信息(如年龄和教育程度)时,它们不太倾向于按族群隔离人群。但是,当模型被告知无关信息(如发色和纹身形状)时,它们基本上又回到了按族群对人进行分类的方式。

AI 系统在现实世界中对求职者形成刻板印象的程度仍然是一个悬而未决的问题。虽然实验中的模型能立即得知其雇佣是否成功,但在现实世界中筛选简历的模型并不会立即得到成绩单。公司可能需要很长时间才能发现新员工是否优秀。但是,当反馈确实逐渐到来时,模型在做出未来雇佣决定时仍可能过度解读这些结果。随着公司越来越多地部署 LLM 来筛选简历甚至进行面试,模型能从其招聘经验中形成偏见这一发现“

📖 阅读原文 →