面向人工智能的网络数据基础设施层的兴起
随着人工智能的持续进步，基础设施也必须随之演进，以实现大规模实时信息的访问与交付。
*由 MIT Technology Review Insights 提供* *2026年6月24日* *与 Bright Data 合作*
人工智能正在蓬勃发展。新的应用场景每天都在涌现。为了充分利用这项技术的潜力，企业需要大规模的数据。然而，在许多情况下，相关信息要么被封锁，要么是非结构化的，这限制了人工智能模型对其的使用。
要理解这一挑战，不妨先看看网络本身的基础。网络最初的设计并非为了满足新人工智能应用所需的自动化发现与检索。克服这一固有的设计限制需要基础设施。人工智能的下一个前沿可能依赖于一种新的网络数据基础设施层，它能使模型发现并映射这个不断扩张的数字领域。这一层必须能够导航数亿个现有网络域名以及每周新增的数十亿个新 URL，实时交付信息并克服技术障碍。
“数据表明，外面还有多得多的数据，”网络数据收集平台 Bright Data 的首席执行官 Or Lenchner 说。“想象一下宇宙：它就在那里，但你不知道你不知道什么。”
实现对新鲜、相关且可信数据的访问
虽然早期的人工智能突破是由扩展训练数据和模型规模驱动的，但组织现在正面临一个根本性的瓶颈：它们需要跟上网络数据动态、非结构化且不断演变的特性，以便将输出建立在当前且可验证的信息之上。人工智能的性能越来越不仅取决于模型架构，还取决于系统的计算、网络、检索和数据工程能力——即系统快速可靠地检索新鲜、相关且可信数据的能力。
传统的模型训练依赖于在特定时间点收集的信息快照。在这种静态数据上训练人工智能已不再足够。为了追踪竞争对手定价、消费者情绪和市场趋势等波动，公司需要持续的新信息流，实时拉取数据并附带相关上下文。因此，它们的基础设施必须能够处理跨不同地域、语言、格式和访问规则的数百万个网站上的同时交互。
“如果它无法检索实时信息，它就缺乏上下文，”Lenchner 说。“在商业环境中，这已经不可接受了。过时的答案会导致糟糕的决策和失望的消费者。”速度不仅仅是一个便利性问题；它是一个必要性问题。当今的组织在价格、库存、市场、安全威胁和客户行为不断变化的环境中运营。延迟的数据检索可能会降低一个原本复杂的模型的实用性。
使用实时、高质量的网络数据也可以减少人工智能的幻觉，因为模型拥有了更相关的知识库。这能建立用户的信任。事实上，一项调查发现，56% 的人工智能从业者表示，企业需要访问实时网络数据来提高对人工智能输出的信任。为了确保模型高效且有效地运行，信息还必须被精简到适当的核心内容。
尽管引入了检索增强生成（RAG），即模型在查询时拉取外部数据，但许多人工智能系统在运营环境中仍然难以提供当前、上下文相关且可信的输出。根据 Gartner 的数据，60% 没有得到人工智能就绪数据（即准确、结构化、有组织且上下文化的数据）支持的人工智能项目将在年底前被放弃。这是因为仅靠大规模检索并不能解决问题。正如 Lenchner 所说，“你需要大规模地检索数据，同时还要实时。延迟会成为一个问题，因为最终用户在等待输出。”
大规模访问新鲜、人工智能就绪的数据带来了技术和结构上的挑战。在实践中，许多企业系统在其人工智能应用中结合了公共网络检索、API、许可数据集和专有内部数据。将这些碎片化的来源整合成一个及时且可用的知识层需要专门的能力。一些研究发现，97% 的人工智能组织依赖实时网络数据基础设施，但 90% 的组织感到受到各种限制的束缚。公司正在越来越多地开发技术方法来应对这些限制。Lenchner 打了这样一个比方：“把训练好的模型想象成智力，把相关数据想象成知识。一个强大的智力层坐落在空洞的知识层之上，就像一个什么都不知道的天才——在实践中毫无用处。智力和知识必须结合起来。”
新基础设施的承诺
一个新的网络数据基础设施层可以通过实现数据发现、实时访问以及针对特定上下文的定制，来满足这种对更强人工智能输入不断增长的需求。正如 Lenchner 所描述的，“这一切都是为了大规模、超低延迟地收集数据，同时不被封锁。”这种平台不依赖于增加计算能力，而是模拟人类浏览行为来访问可用内容，并将原始代码转换为结构化的数据流。它可以与那些可能不与传统抓取工具（例如，大量使用 JavaScript 的网站，或带有激进反机器人软件的网站）交互的网站协同工作。
正如 Lenchner 解释的那样，“这基本上就是拥有能够模拟网络用户的基础设施，带有识别信息——IP 地址、位置，以及 1000 多个其他参数。而且是大规模的。想象一下，每天为数百万个网站这样做 800 亿次。每一次，你都看起来完全符合网站的预期。”
当然，持续的检索带来了新的数据治理挑战。