下载:大语言模型的下一个重大突破,以及AI学术研究如何转向
此外:英伟达已从华尔街获得5000亿美元用于AI基础设施建设。
*这是今日版《下载》(The Download),我们的工作日通讯,每天为您提供科技界动态速览。*
这些初创公司正在追逐大语言模型的下一个重大突破
自谷歌研究人员提出Transformer架构九年以来,这个神经网络家族已成为每一个主流大语言模型的核心引擎。但Transformer正开始显露疲态。随着大语言模型变得更大更强,Transformer已成为瓶颈。随着文本量增长,其密集注意力机制的运算成本愈发高昂,而且它们不擅长同时追踪大量信息。
以下是解决Transformer问题的四个新思路——这些创新可能会彻底改变大语言模型,使其更快、更高效,甚至(也许)更智能。
——威尔·道格拉斯·希文
*本文来自《麻省理工科技评论》的“未来展望”(What's Next)系列,该系列跨越行业、趋势和技术,让您先睹为快。您可以在此处阅读其余文章。*
AI教授们正在应对学术研究的新现实
——格蕾丝·哈金斯
上周,我前往加州山景城的一家酒店,与一些世界上最杰出、也最有潜力的AI研究人员会面。我主持了圆桌访谈,并在为施密特科学AI2050项目举办的一次会议上担任媒体培训演讲者。该项目由埃里克·施密特和温迪·施密特资助,支持从事AI相关工作的学者。研究员名单堪称AI名人大全,虽然并非所有人都来到了湾区,但每当我转过一个角落,都会看到一位我以前采访过的科学家,或是我钦佩其研究的学者。
对于构成AI2050项目主体的大学AI研究人员来说,这是一个奇怪的时期。阅读格蕾丝的文章,了解原因以及接下来可能发生什么。
*本文来自《算法》(The Algorithm),我们的每周AI通讯。注册后每周一即可在收件箱中收到。*
必读精选
我翻阅了互联网,为您找到今天最有趣/最重要/最可怕/最引人入胜的科技故事。
1. 英伟达已从华尔街获得5000亿美元用于AI基础设施
- 已与贝莱德、高盛及其他四家机构达成交易。(BBC)
- 这显示了AI算力对机构投资者的吸引力。(路透社)
- AI基础设施正成为一种新的资产类别。(CNBC)
2. 马克·扎克伯格的新宣言称开源AI可以拯救美国
- 他描绘了个性化“超级智能”的乌托邦愿景。(卫报)
- 该宣言与Meta新开源模型同日发布。(纽约时报)
- 扎克伯格表示计划推出更多此类模型。(华尔街日报)
- 并将Meta与中国开源权重开发者对立起来。(南华早报)
3. 伯尼·桑德斯呼吁硅谷“暂停AI开发”
- 他指出AI巨头已承诺在必要时出于安全考虑这样做。(卫报)
- 并警告称,如果不采取行动,立法者将介入。(卫报)
- 众议院民主党人已就流氓模型向AI领导者施压。(华盛顿邮报)
- 一场民粹主义反弹正在针对AI形成。(麻省理工科技评论)
4. 美国法院将允许数千起社交媒体诉讼继续进行
- 这些诉讼针对Meta、TikTok、谷歌和Snapchat使用的成瘾机制。(Axios)
- 原告声称这些平台旨在吸引年轻用户。(路透社)
- 我们能修复互联网吗?(麻省理工科技评论)
5. 宇树科技IPO获散户超额认购逾8000倍
- 这家中国人形机器人公司在上市前筹集了9亿美元。(路透社)
- 其上海IPO定价使公司估值达到90亿美元。(金融时报)
6. Flock的车牌追踪摄像头面临两党反弹
- 该监控网络已在美国迅速扩张。(纽约时报)
- Flock还计划用无人机追捕商店扒手。(麻省理工科技评论)
7. 中国正在拆散AI恋爱关系
- 北京已为情感交互AI引入新规。(Rest of World)
- 爱上聊天机器人出奇地容易。(麻省理工科技评论)
8. 一款AI工具声称能挑选出最顶尖的1%科学论文
- 但研究人员怀疑AI能否可靠地评判科学质量。(自然)
9. AI垃圾内容反弹正在奏效
- 它正推动平台限制AI生成内容。(连线)
10. 一位82岁老人拒绝了2600万美元,拒绝将农场改建为数据中心
- 她批评了数据中心对环境的影响。(财富)
今日名言
“现在避免灾难还为时不晚。停止制造人类无法控制的机器。”
——参议员伯尼·桑德斯在一封信中敦促山姆·奥特曼、达里奥·阿莫迪和马克·扎克伯格暂停所有AI开发。
另一件事
制造完美婴儿的竞赛正在制造伦理乱局
一个新兴科学领域正在利用基因测序来预测胚胎可能成长为怎样的人。一些父母求助于这些测试以避免毁灭性的遗传疾病,而少数群体则愿意支付数万美元来优化智力、外貌和性格。然而,客户可能得不到他们所支付的东西。遗传学专家多年来一直强调这种测试的潜在缺陷,而其基本假设也使这些公司成为政治靶子。随着这项技术逐渐走向主流,科学家和伦理学家正竞相面对其影响——对我们的社会契约、对子孙后代,以及对我们理解“为人”本身的含义。
阅读完整报道。——朱莉娅·布莱克
我们仍能拥有美好事物
一个带来舒适、乐趣和消遣的角落,为您点亮每一天。(有什么想法吗?给我写信。)
- 一只目光敏锐的边境牧羊犬将接飞盘游戏带入了新水域。
- musicForprogramming做出了勇敢的尝试……