什么是AI数据提取？它的实际工作原理

多年来，从网络上提取数据意味着要针对页面标记编写脆弱的CSS或XPath选择器，然后眼睁睁看着它们在站点改版的瞬间失效。AI数据提取走了一条不同的路：你不再告诉脚本某个字段在HTML的哪个精确位置，而是将页面内容交给机器学习模型，让它返回你想要的字段。模型以人的方式阅读页面，从上下文中推断结构，并返回干净的结构化记录。这种转变，从手写选择器到模型驱动的语义理解，就是当今大多数人说"AI数据提取"时的含义。

本文解释AI数据提取究竟是什么，整个流水线如何逐步运作，以及它在哪些方面胜过（以及在哪些方面不如）传统的基于选择器的爬取。文章还涵盖了决定一切是否能在规模化场景下正常运作的那个不那么光鲜但至关重要的部分：如何在第一时间将原始页面以模型能够清晰解析的格式呈现在模型面前。Crawlbase正是在这个环节发挥作用，所以我们会具体说明。

什么是AI数据提取？

AI数据提取是使用机器学习模型（如今越来越多地是大语言模型，即LLM）将非结构化或半结构化内容转化为结构化数据，无需手动编写每个字段的提取规则。你向模型提供输入（一个HTML页面、一篇渲染后的文章、一份PDF、一封电子邮件、一段聊天记录）以及你想要获得的数据结构描述（商品名称、价格、SKU、作者、发布日期），模型便以JSON格式返回这些字段。

关键词是推断。传统爬虫对页面的语义一无所知；它知道的是"价格是.product-price span内的文本"。AI提取器则从语义出发：它识别出商品标题旁边的"$129.00"是一个价格，即使周围的标记在一夜之间发生了变化。这种对杂乱、变化的输入的容忍度，正是这一方法兴起的全部原因。

传统基于选择器的爬取与AI提取的对比

基于选择器的爬取速度快、成本低且确定性强。当页面结构稳定且已知时，CSS选择器是正确的工具，运行时每次请求的成本为零。其弱点在于脆弱性：选择器与精确的标记绑定，因此布局变更、A/B测试或新增语言版本会悄悄破坏你的任务，而你只会在数据变空时才发现。

AI提取用一些速度和确定性换取了韧性。模型不在意类名从price-tag变成了cost-label；它根据语义识别字段。它还能处理完全没有清晰结构的输入，例如自由文本的商品描述或一封支持邮件，这是选择器完全无法触及的。代价是真实存在的：模型调用增加了延迟和按token计费的成本，而且模型偶尔可能会虚构一个字段或误读一个模糊字段，因此你需要验证输出而不是盲目信任。

在实践中，大多数正式的生产系统都采用混合方案。在结构已知且稳定的地方使用廉价的选择器或Crawling API调用，仅对那些选择器不断失效的杂乱、高变异页面才使用模型。无论你是在做跨数百个店铺模板的电商网络爬取，还是从从不遵循相同布局的文档中提取字段，这一逻辑同样适用。

AI数据提取的工作原理：逐步拆解流水线

无论使用什么工具，AI数据提取都遵循相同的四个阶段，且顺序固定。理解每个阶段能告诉你问题出在哪里，以及Crawlbase实际替代了哪个部分。

1. 获取页面

无法获取的页面当然无从提取。这个阶段获取目标URL的原始响应。对于简单的静态站点，一个普通的HTTP请求就足够了，但大多数商业站点会防御自动化流量：数据中心IP会遭遇挑战，不像人类的请求模式会被封锁，你看到的是CAPTCHA或空白响应而非内容。这正是Crawling API这类工具体现价值的阶段，它通过住宅IP路由请求，使目标将其识别为真实访客。

2. 渲染内容

现代网络的很大一部分在客户端渲染：初始HTML几乎是一个空壳，你想要的数据只有在浏览器中JavaScript运行之后才会出现。如果你的获取步骤返回的是这个空壳，下游的模型就没有任何内容可读。渲染意味着在真实的浏览器引擎中运行页面，等待动态内容加载完毕后再捕获HTML。Crawling API通过JavaScript token处理这一问题，在将页面返回给你之前确保其完全渲染。

3. 让模型提取字段

现在模型开始工作。你将页面内容加上数据结构（你想要的字段及其类型）传给它，并指示它返回结构化的JSON。这个阶段成败取决于两件事。第一是提示词和数据结构：带有字段描述的清晰、明确的结构比模糊的"提取重要内容"产生干净得多的输出。第二个，也是人们容易低估的，是输入格式。模型解析干净的、以内容为中心的文本的可靠性远高于一个400KB的嵌套div、追踪脚本和内联样式的混合体。将页面简化为有意义的内容，或将其转换为Markdown，既能提高准确性，又能降低token成本，因为模型将上下文窗口用于内容而非模板样式。

4. 验证输出

模型的输出是一个有力的猜测，而非保证。最后一个阶段对其进行检验：确认JSON可以解析，必填字段存在，类型匹配（价格是数字，日期是日期），以及数值在合理范围内。验证失败的记录被标记、重试或送审，而不是直接写入数据库。这个步骤是让AI流水线在生产环境中可信赖的关键；跳过它会导致幻觉或格式错误的字段悄悄污染数据集。

Crawlbase的定位：干净的采集与对解析友好的输出

Crawlbase不负责帮你提取字段，这是有意为之的。它负责流水线的前两个阶段，即那些你自己构建起来确实很难的部分，并向模型提交一个干净的输入用于第三阶段。

Crawling API接收一个URL，通过轮换住宅IP获取它（这样你就不会被封锁），在你传入JS token时渲染JavaScript，并返回已渲染完成的页面。对于AI工作流而言至关重要的是，它能以干净的HTML或Markdown格式返回该页面。Markdown接近理想的LLM输入：它保留了标题、列表、链接和表格，同时去掉了脚本、样式和广告标记（这些内容会让原始页面变得臃肿并令模型困惑）。用Markdown代替原始HTML，通常能同时降低token用量并提升提取准确性。

对于封锁更严重的目标，还有Smart AI Proxy（也称为AI Proxy），它将每个请求轮换到一个包含数百万住宅和数据中心IP的池中，确保单个地址永远不会触发频率限制。根据已发表的网络爬取研究，失败任务最大的单一原因不是解析逻辑，而是在任何数据返回之前就被封锁，而这正是Crawlbase从你的问题清单上移除的部分。

const { CrawlingAPI } = require('crawlbase')
const OpenAI = require('openai')

const api = new CrawlingAPI({ token: 'YOUR_CRAWLBASE_JS_TOKEN' })
const llm = new OpenAI({ apiKey: 'YOUR_LLM_API_KEY' })

async function extractProduct(url) {
  // Stage 1 + 2: fetch through residential IPs and render, returned as markdown
  const page = await api.get(url, { ajax_wait: true, format: 'markdown' })

  // Stage 3: hand the clean markdown to a model and ask for a strict schema
  const result = await llm.chat.completions.create({
    model: 'gpt-4o-mini',
    response_format: { type: 'json_object' },
    messages: [{
      role: 'user',
      content: `Return JSON with name, price (number), currency, inStock (boolean).\n\n${page.body}`,
    }],
  })

  return JSON.parse(result.choices[0].message.content)
}

extractProduct('https://example.com/product/123').then(console.log)

注意这种分工。Crawlbase保证你获得一个以干净格式呈现的、真实渲染的页面，而这正是自行构建时最常失败的部分。模型将干净的输入转化为字段。而缺少的第四阶段，即验证price确实是数字、inStock确实是布尔值，是你在写入任何存储之前在外层添加的逻辑。

为何输入格式决定准确性的成败

人们很容易将模型视为全部，将页面视为既定条件，但事实恰恰相反：你提供给模型的内容质量，主导了输出的质量。一个原始商品页面可能有数百KB，其中大部分是数据分析脚本、内联SVG、广告位和深度嵌套的布局div。将这些全部输入模型，会发生三件事：你为不需要的token付费，面临上下文窗口溢出导致实际内容被截断的风险，以及给模型提供更多选错数字的机会。

干净的Markdown同时解决了这三个问题。通过保留标题、段落、列表、链接和表格，同时丢弃所有辅助机制，它给模型留下的几乎只有语义内容。提取准确性提升，token成本下降，提示词也变得更简单，因为你不再与噪音搏斗。这正是Markdown输出选项对AI工作流特别重要的原因，其重要性远超它对人类阅读页面的意义。

常见陷阱及如何规避

一旦AI提取流水线遭遇真实流量，以下几种失效模式会反复出现。

• 跳过验证。 模型在出错时依然表现得很自信。没有验证阶段，一个幻觉价格或误输入的字段就会直接进入你的数据。务必在存储之前解析、类型检查和范围检查。
• 输入原始HTML。 这会增加成本、截断内容并降低准确性。先提取内容或请求Markdown格式。
• 忽视采集环节。 如果你被封锁或收到未渲染的空壳，世界上最聪明的模型也无从提取。先解决采集问题，再调优提示词。
• 在选择器就能胜任的地方使用模型。 对于结构稳定、已知的页面，选择器或解析驱动的Crawling API调用更便宜、更快速、更可预测。将LLM留给那些确实存在高变异性的页面。

如果保持未被封锁是你的瓶颈，如何在不被封锁的情况下爬取网站是更深入的操作手册。如果你想理解建模这一侧而不仅仅是消费模型的输出，机器学习网络爬取和AI模型训练原理是很好的延伸阅读。关于维持采集健康运转的代理层，什么是AI代理涵盖了轮换机制如何融入同一流水线。

常见问题

用通俗语言解释，AI数据提取是什么？

它是使用机器学习模型（通常是大语言模型）将非结构化或杂乱内容转化为结构化数据的过程。你不再编写规则说"价格位于这个精确的HTML元素中"，而是将页面内容和你想要字段的描述交给模型，它会像人一样阅读页面并以JSON格式返回这些字段。

AI数据提取与传统网络爬取有何不同？

传统爬取依赖绑定到页面精确标记的CSS或XPath选择器，因此速度快、成本低，但布局变更时会失效。AI提取依据语义识别字段，因此能够容忍布局变更，并处理完全没有清晰结构的内容。权衡之处在于增加了延迟和按token计费的成本，以及验证输出的必要性。大多数生产系统同时使用两者：在结构稳定的地方用选择器，在结构变化的地方用模型。

使用LLM时还需要代理或爬取工具吗？

需要。LLM负责提取字段，但无法获取页面、渲染JavaScript或绕过反爬虫防御。这些采集步骤在前，也是大多数爬取任务失败的地方。像Crawling API这样的工具负责获取、渲染和IP轮换，然后将干净的页面交给模型处理。

为什么要向模型输入Markdown而不是原始HTML？

原始HTML大部分是脚本、样式和不携带任何语义的布局标记。将其输入模型会花费额外的token，有截断实际内容的风险，并给模型提供更多选错值的机会。Markdown保留了标题、列表、链接和表格，同时去掉了噪音，在降低成本的同时提升了提取准确性。Crawlbase可以直接以Markdown格式返回页面。

AI提取会出错吗？如何发现错误？

会。模型可能虚构一个字段或误读一个模糊的字段，且无论正确与否都表现得同样自信。解决方法是设置验证阶段：确认JSON可以解析，必填字段存在，类型正确，数值在合理范围内。验证失败的记录被标记或重试，而不是直接写入存储。验证是让AI流水线在生产环境中可信赖的关键。

Crawlbase在AI提取流水线中处于什么位置？

Crawlbase负责前两个阶段：获取和渲染。Crawling API通过轮换住宅IP获取页面，使用JS token运行JavaScript，并以HTML或LLM友好的Markdown格式返回已渲染完成的页面。然后你将干净的输出传给你的模型进行提取，并添加你自己的验证逻辑。对于封锁严重的目标，Smart AI Proxy提供额外的IP轮换层。

TA

Thomas Adewale

技术撰稿人 · Crawlbase

Crawlbase 技术撰稿人，专注代理网络、轮换策略，以及支撑大规模可靠爬取背后的底层管道。