AI 代理的工作原理请求生命周期，逐步解析

传统代理只做一件事：用别人的 IP 替换你的 IP，让目标服务器看到与你不同的地址。对于防护薄弱的网站，这已经足够了；但对于加固过的网站，这远远不够, 那些防御系统会在检查 IP 之前，就已经对你的请求头、TLS 握手、时序以及会话形态进行评分。当掩盖地址只是问题中容易的那 10% 时，AI 代理就是你需要的工具。它是一个托管流水线，能够逐请求决策：选择哪个 IP、如何让请求看起来像真实浏览器、页面是否需要渲染，以及当第一次尝试返回的是拦截而不是数据时该怎么办。

本指南通过跟踪一个请求从头到尾的完整流水线，解释 AI 代理的工作原理：接收、IP 选择、指纹识别、渲染、反机器人处理，以及 LLM 能够直接使用的干净结构化输出。我们全程以 Crawlbase Smart AI Proxy 作为实际示例，因为它以托管服务的方式实现了上述每个阶段，而无需你自己将它们拼接在一起。

AI 代理究竟是什么

如果你读过 什么是代理服务器，你已经了解了基础层：一个代表你转发流量的中间人，让目标看到代理的地址。AI 代理保留了这个中间人角色，并在其上添加了一个决策层。它不是将每个请求通过固定配置路由，而是根据对目标的了解以及之前尝试的结果，逐请求选择配置。

三项能力将 AI 代理与普通代理池区分开来：

• 自适应路由。 它建模哪些 IP 类型、地理位置和配置在给定域名上能够成功，并据此进行选择，而不是从池中随机抽取地址。
• 请求塑形。 它设置请求头、TLS 参数和时序，使请求与该目标的真实浏览器配置文件匹配，而不是通用的机器人特征。
• 反馈驱动的重试。 当请求失败时，它对失败进行分类并在重试之前重新配置，而不是一遍又一遍地发送同样注定失败的请求。

本系列的配套文章涵盖了周边内容：什么是 AI 代理 定义了该类别以及它与智能代理的区别，AI 代理用例 讲述了该方法的适用场景。本文专注于机制本身。

请求生命周期

理解 AI 代理工作原理最清晰的方式，是跟踪单个请求从你的代码调用端点到干净数据回到你手中的全过程。以下每个阶段都在代理服务端运行；从你的角度来看，这只是一次 API 调用。使用 Smart AI Proxy，你只需将 HTTP 客户端指向带有 token 的代理端点，流水线会处理其余的一切。

以下是请求经过的有序阶段：

1. 接收与目标分类。 请求到达代理端点。系统查找它对目标域名的了解：它运行的是哪种反机器人系统、是否需要客户端渲染，以及哪些配置历史上在该目标上取得了成功。
2. IP 选择。 路由层从池中挑选一个地址，根据目标配置文件过滤：住宅、数据中心或移动，位于正确的地理位置，对该域名有良好的历史记录。
3. 请求塑形与指纹识别。 在请求发出之前，代理为其分配一个浏览器指纹：与该网站真实访客相符的请求头、TLS 配置和时序。
4. 渲染（如需要）。 如果页面是客户端渲染的，请求会被路由到一个无头浏览器层，该层执行 JavaScript 以便在提取之前真实内容已经存在。
5. 反机器人处理与响应分析。 响应返回后，系统读取其结果信号，而不仅仅是有效载荷：是成功了，还是遭遇了软性拦截，抑或是硬性拦截或 CAPTCHA。
6. 清理与返回。 成功时，内容被返回，可选地解析为结构化字段或供 LLM 使用的 Markdown。失败时，结果反馈到重试决策中，循环重新配置。

以下各阶段依次讲解每一步，以 Smart AI Proxy 为贯穿始终的示例。

阶段 1：接收与目标分类

当请求命中代理时，首先发生的不是网络路由，而是一次查找。系统以目标域名为键提取已学习的信息：网站前的反机器人平台、观察到的失败模式，以及产生数据而不是挑战的配置。坐在激进机器人管理器后面的网站与一个小型静态博客的处理方式截然不同，这个决定在单个数据包发出之前就已经做出。

这就是为什么托管 AI 代理会随时间改进。每个针对某域名的请求都会丰富其配置文件，因此随着系统看到更多针对该目标的流量，接收时的分类会越来越精准。对于新目标，系统从合理的默认值开始，随着数据积累逐渐收敛到最优配置。

阶段 2：IP 选择与轮换

目标分类完成后，路由层选择一个 IP。这是人们通常在想到"代理"时脑海中浮现的部分，但在 AI 代理中，它是几个经过深思熟虑的决策之一，而不是随机抽取。池中包含不同类型的 IP，正确的选择完全取决于目标。

• 住宅 IP 属于真实消费者连接，拥有最高的信任度，这就是为什么 住宅代理 是加固商业目标的默认选择。
• 数据中心 IP 速度快、成本低，适用于不严格审查 IP 信誉的网站。
• 移动 IP 通过运营商网络路由，在期望移动流量的目标上具有信任度优势。

轮换是这个阶段的另一半。从一个地址发送过多请求是触发速率限制最快的方式，因此系统将请求分散到整个池中。Smart AI Proxy 在大量住宅和数据中心 IP 池中自动轮换；对于需要在多个请求中保持稳定身份的任务，它可以将会话固定在一个地址上。如果你想深入了解轮换策略的机制，轮换住宅代理 有完整介绍。

阶段 3：请求塑形与指纹识别

干净的 IP 让你通过了第一道关卡，但不是其余的。现代反机器人系统从请求揭示的一切其他信息中构建指纹，即使在受信任的地址上，不匹配的指纹也会被拦截。它们读取的信号包括：

• HTTP 请求头： User-Agent、Accept 和 Accept-Language 的值，以及它们彼此之间是否内部一致。
• TLS 握手： ClientHello 中的密码套件和扩展顺序，产生识别客户端库的 JA3 和 JA4 指纹。
• HTTP/2 设置： 帧参数和伪请求头顺序，真实浏览器与大多数脚本客户端之间有所不同。
• 时序与节奏： 均匀的、机器精确的间隔被识别为自动化；人类的行为是不规则的。

代理在这个阶段的工作是为目标组装一个完整的真实浏览器配置文件指纹，并保持其与配对的 IP 和会话一致。住宅 IP 携带无头 Chrome TLS 签名是一个矛盾，优秀的防御系统会捕捉到。Smart AI Proxy 为你管理这种对齐，当某个配置开始引发拦截时，它会切换到不同的配置文件，而不是重复同样的特征。

阶段 4：页面需要时进行渲染

网络上很多页面发送的是几乎空的 HTML 外壳，然后用 JavaScript 在浏览器中构建真实内容。用裸 HTTP 客户端获取这类页面，你得到的是状态码 200 的响应，但没有你想要的任何数据。对于这些目标，掩盖 IP 和塑形请求仍然不够；页面必须被执行。

AI 代理通过将需要渲染的请求路由到无头浏览器层来处理这个问题，该层运行页面的 JavaScript，等待异步内容填充完毕，然后才捕获完成的 DOM。使用 Smart AI Proxy，这只是请求上的一个标志，而不是你需要搭建的基础设施：你请求 JavaScript 渲染，托管浏览器集群在获取页面的同一个受信任 IP 背后完成执行。输出是完全渲染的 HTML，与真实访客浏览器中的标记相同。

阶段 5：反机器人处理与反馈循环

返回的响应不一定就是胜利。AI 代理在将其视为数据之前会读取其结果信号：包含真实内容的 200 是成功，但软重定向到挑战页面、插页式广告、CAPTCHA 或硬性 403 都是不同类型的失败，需要不同的应对方式。使系统具有自适应性的核心思想是：它对失败进行分类，在重试之前重新配置，而不是将相同的请求再次发送到同一堵墙上。

那个反馈循环就是引擎。使用相同 IP 和指纹的盲目重试只是确认了拦截并加速了速率限制；经过分类的重试会改变导致失败的变量：不同的 IP 类型、新的指纹、新的会话，或切换到渲染请求。成功的配置在该目标上得到强化，失败的配置被降低优先级，这正是阶段 1 中配置文件持续改进的原因。关于技术本身的更广泛攻略，如何在不被拦截的情况下抓取网站 按目标逐一介绍。

你也可以直接利用这个循环。Smart AI Proxy 通过标准代理端点公开托管流水线，因此单次调用即可路由 IP 选择、指纹识别、可选渲染和重试处理，无需你自己编排任何内容。如果你倾向于使用请求响应式 API 而不是代理端口，Crawling API 封装了同样的引擎。

# Route a request through the Smart AI Proxy.
# The endpoint handles IP selection, fingerprinting, and retries.
curl -x "http://USER_TOKEN:@smartproxy.crawlbase.com:8012" \
  -k "https://example.com/products"

# Add a header to request JavaScript rendering for client-side pages.
curl -x "http://USER_TOKEN:@smartproxy.crawlbase.com:8012" \
  -H "CrawlbaseAPI-Parameters: ajax_wait=true&page_wait=5000" \
  -k "https://example.com/products"

一个端点、你的 token 和页面 URL。从阶段 1 到阶段 5 的所有内容都在服务端运行；你得到的是完成的 HTML。

阶段 6：LLM 可直接使用的干净输出

最后一个阶段让 AI 代理对 LLM 流水线真正有用，而不仅仅是一个可靠的抓取器。原始渲染的 HTML 噪音很多：导航、脚本、广告位和跟踪标记远远超过你真正想要的内容，将所有这些喂给模型会浪费 token 并稀释信号。清理阶段将页面精简为真正重要的内容。

两种输出形式能满足大多数需求：

• 结构化字段。 对于已知页面类型，将渲染的 HTML 解析为命名字段（如产品标题、价格和评分），可以得到你可以直接存储和查询的行。Crawling API 在服务端为常见页面类型执行此操作，返回 JSON 而不是 HTML。
• Markdown。 对于供 LLM 或 RAG 索引使用，将清理后的内容折叠为 Markdown，保留标题、列表和链接，同时去掉装饰性内容，比原始 HTML 的 token 效率高得多，也更容易被模型读取。

整个生命周期的意义在于，当数据到达你的代码时，它已经是下一步所需的正确形态。你收到的不是需要重试的 403，也不是需要清理的大量标记；你得到的是内容，已经解析或精简，可以直接索引或加载到模型中。

这在延迟方面的代价

决策层不是免费的。目标分类、IP 评分和指纹分配每个请求都会增加少量开销，渲染会增加更多开销，因为页面确实必须在浏览器中运行。实际上，这个代价是合算的：在加固过的目标上，静态代理通常需要重试几次才能通过或放弃，那些失败尝试的总延迟远远超过第一次或第二次就成功所需的决策开销。对于大规模流水线，更少的失败请求和更少的手动重配置才是真正的收益，而对每个域名决策的热路径缓存则将稳态开销保持在较低水平。

常见问题

用简单的话解释 AI 代理是如何工作的？

AI 代理是一个托管流水线，它逐请求决策如何在不被拦截的情况下到达目标。它对目标进行分类，从轮换池中选择合适的 IP，塑形请求使其看起来像真实浏览器，如果页面需要 JavaScript 则进行渲染，读取响应以获取拦截信号，并在失败时重新配置后重试。从你的角度来看，这只是一次 API 调用；所有这些都在服务端运行。

AI 代理与普通代理有什么区别？

普通代理通过不同的 IP 转发你的流量，仅此而已。AI 代理保留了这一角色，并添加了决策层：它根据目标有效配置来选择 IP，将请求指纹对齐到真实浏览器，处理渲染和反机器人响应，并从每个结果中学习。普通代理将拦截视为你的问题；AI 代理将拦截视为下次尝试的输入。

AI 代理能处理 JavaScript 密集型网站吗？

可以。当页面在客户端构建其内容时，代理将请求路由到无头浏览器，该浏览器执行 JavaScript 并等待内容加载后再捕获 DOM。使用 Smart AI Proxy，你通过请求参数启用渲染，托管浏览器层在同一受信任 IP 背后处理执行，返回完全渲染的 HTML。

AI 代理如何绕过 CAPTCHA 和拦截？

它通过预先设置正确的配置来避免大多数问题：针对目标的受信任 IP 类型、对齐的指纹和类人时序。当挑战确实出现时，系统对失败进行分类，并用变化的变量重试：不同的 IP、新的指纹或新的会话，而不是重复触发拦截的请求。随着时间推移，每个目标的配置文件会偏向于能够成功的配置。

AI 代理如何返回 LLM 可以使用的数据？

成功抓取后，清理阶段将页面缩减为可用内容。对于已知页面类型，它将 HTML 解析为结构化 JSON 字段；对于通用内容，它将页面折叠为 Markdown，保留标题、列表和链接，同时去掉导航、脚本和广告。两种形式对模型来说都比原始 HTML 更节省 token、更清晰，因此输出可以直接索引或供 LLM 使用。

什么时候应该使用 AI 代理而不是标准住宅代理？

当目标运行真实的反机器人防御时使用：行为指纹识别、动态速率限制，或 Cloudflare、DataDome 等平台，或者当页面需要 JavaScript 渲染时。标准住宅代理对这些目标往往会随时间显示出下降的成功率，因为当检测发生变化时没有任何适应机制。对于低流量、低防御的目标，标准代理仍然完全足够。

TA

Thomas Adewale

技术撰稿人 · Crawlbase

Crawlbase 技术撰稿人，专注代理网络、轮换策略，以及支撑大规模可靠爬取背后的底层管道。