轮换住宅代理是两个想法拴在一起,而两半都重要。住宅这部分意味着出口 IP 属于一个互联网服务提供商交给某个真实的人的真实家庭连接,所以对一个目标而言它读起来像一个普通访客而非一台服务器。轮换这部分意味着你并不持有那个 IP:一个网关在每次请求时,或每隔几分钟,把它换成另一个,于是没有任何单个地址会累积到足够多的流量看起来像一个机器人。把它们放到一起,你得到的流量既看起来像人类,从不停留得足够久以致被标记。

那个组合是大规模抓取的标准工具,也是营销声量最大的地方。每家供应商都声称拥有最大的 IP 池、最高的成功率和最低的价格,而那些数字大多无法核实,或在你读到它们时就已过时。这篇综述跳过排行榜表演:它解释什么让一个住宅代理"轮换",给你一份简短的选择评判标准,公正地介绍那些值得注意的供应商,点出免费 IP 池的真实风险,并把 Crawlbase 诚实地夹在其余供应商之中。把任何供应商报出的数字当作一个要在你自己的目标上去核实的起点,而非一个事实。如果你还在决定住宅究竟是不是你需要的档次,数据中心与住宅代理是更好的第一篇读物;这一篇假定你已经选好了形态,正在挑选供应商。

什么让一个住宅代理"轮换"

一个普通的住宅代理给你一个家庭 IP 并由你一直持有。这对于必须看起来像一个单一、一致的人的工作很有用,但它恰恰不适合高体量抓取,因为那一个 IP 会累积请求,直到目标对它限速或封禁。轮换修复了这一点,办法是把整个 IP 池放在一个网关端点之后,并替你更换出口 IP。

有两种值得了解的轮换模式,好的供应商两者都给你。按请求轮换在每次调用时交给你一个全新的 IP,把负载分摊到成千上万个地址上,这正是你在每个页面都相互独立的宽泛爬取中所要的。粘性会话把一个 IP 钉住一个设定的时间窗(几分钟到几小时,视供应商而定),使一个像翻页浏览一个已登录视图这样的多步流程,能在一个身份上停留得足够久,不至于触发"你的 IP 刚刚变了"的警报。干净地切换 IP 的机制在如何使用轮换代理中,其底层概念在轮换 IP 地址中。

一个端点,许多家庭。你的抓取器把每个请求都发往单个网关主机;网关按请求从池中抽取一个不同的住宅 IP(或为一个粘性会话保持一个),于是目标看到的是一串互不相关的家庭访客,而非一个繁忙的地址。

如何挑选一个轮换住宅供应商

在你读任何一张定价页之前,先在以下每一个维度上确定对你的工作负载而言"好"是什么样子。它们分辨合适与后悔,远胜于任何头条上的池大小。

  • 来源伦理优先。住宅 IP 属于真实的人,所以一个 IP 池只有在那些人知情地选择加入并获得补偿时才站得住脚。由捆绑 SDK、破解应用或恶意软件构建的池,是你一旦经它路由就继承下来的一份责任。问问这些 IP 从哪里来;一个无法清楚回答的供应商已经回答了。
  • 轮换控制。你想要按请求和粘性会话、可调的间隔,以及通过配置而非一张工单实现的地理定位。只有一种轮换模式意味着只有一种作业,而它可能不是你的。
  • 在你目标上的真实成功率。广告里的比率是跨容易站点的平均值。唯一算数的数字,是你抓取的那些域名上的封锁率,通过在试用期内跑几千个真实请求来测得。
  • 定价模型。大多数住宅代理按 GB 计费,这惩罚沉重的页面和重试;一些抓取服务按请求计费,这更干净地对应到获取的页面数。读清最低消费,因为一个藏在陡峭月度底线之后的低费率,可能比一个没有底线的更高费率花得更多。直接查看当前定价,因为费率一直在变。
  • 地理覆盖与粒度。如果你的数据是特定于国家、城市或运营商的,确认供应商覆盖你需要的位置,而不只是一个全球 IP 数量。
  • 集成与支持。一个干净的单一端点、用你语言写就的有文档的库,以及由真正的工程师而非一个工单队列构成的支持,在目标改变其防御那一天最为重要。

跨每一种代理类型的完整供应商打分评判标准,参见如何评估一个代理供应商。本文的其余部分把那副镜头应用到轮换住宅市场。

值得注意的轮换住宅供应商

以下是大多数团队为轮换住宅流量列入候选的供应商,按它们真正以什么著称在高层面加以描述。池大小、成功率和价格一直在变并因方案而异,所以这一节特意避免引用固定数字;在你做出承诺之前,到每家供应商自己的定价和文档上核实当前的具体情况。

Bright Data

该类别中功能最完备的平台,拥有最大的住宅网络之一,以及深入到城市、ASN 和运营商的地理定位。除了原始代理,它还出售一整套数据采集套件(web unlocker、抓取浏览器、现成数据集)。代价是成本和复杂度:它在价格上处于高端,平台有一条真实的学习曲线,而那份广度对于一个简单直接的抓取作业可能是大材小用。最适合资金充裕、在持续体量下攻击最难目标的团队。

Oxylabs

另一个企业级重量选手,拥有一个大型住宅池、广泛的国家覆盖,以及比大多数同行更干净的 API 表面。在结构化、高体量数据集和企业支持上很强,业务方案标配客户经理。像任何企业级池运营商一样,它带有最低消费承诺,并且超出一个小团队的所需。最适合那些想要深度覆盖加可靠 SLA、并有体量为之正名的组织。

Decodo(前身为 Smartproxy)

Smartproxy 更名为 Decodo;基础设施和账户都延续了下来。它一贯被定位为市场上更具性价比的选择之一:一个相当可观的住宅池、两种轮换模式、不错的文档,以及对于大多数抓取任务而言远低于企业档的入门定价。对于想要有能力的住宅轮换却不要企业合同的中等规模团队,它是一个合理的默认。最适合市场广阔的中部。

SOAX

以精细定位以及一个住宅、移动和 ISP 的组合产品而著称,在运营商级移动地理定位上尤其强。如果你的工作需要出口匹配一个特定城市或 ASN 里的真实运营商(移动应用测试、广告验证、位置敏感的核查),SOAX 给你比大多数更精确的控制。它在每 GB 成本上往往高于平均,并且有一条更陡的搭建曲线。最适合细粒度、位置攸关的定位。如果你真正追求的是移动,参见移动代理

NetNut

它的差异化在于直接的 ISP 连通性,而非纯粹的点对点路由,这往往产生更稳定、更低延迟的会话。这使它很适合那些会话连续性比最大 IP 多样性更重要的工作流,比如市场监测或账号式任务。入门最低消费可能会抬高极低体量使用下的有效每 GB 成本。最适合在一个住宅级 IP 上进行稳定、更长的会话。

IPRoyal

一个对预算友好的选择,其突出特性是流量不过期:你在按量付费下购买的带宽留在你账户里直到用完,无需订阅,而且它提供一些可用的最长粘性会话。它通过一个基于同意的项目获取 IP,这在伦理维度上是它的一个加分项。在防御最激进的目标上它落后于企业档。最适合不规律、对成本敏感的使用,你想要一次性购买流量并随时间逐渐用掉。

Webshare

最好把它理解为一个原型设计与预算工具,而非一个重负荷的住宅池。它的住宅质量在难缠目标上中规中矩,但它提供一个确实可用的免费档,以及一个大而便宜的数据中心池,这使它成为一个在投入付费住宅基础设施之前测试轮换逻辑的务实之地。最适合原型设计和宽松的目标,而不是反爬繁重的抓取。

Zyte

更接近一个受管的抓取平台,而非一个原始代理卖家。它的智能代理层在单个 API 之后处理轮换、封禁检测和优化,理念上类似一个 crawling API,但建立在 Zyte 自己的技术栈上。如果你想要一个受管的反封禁层而不必自己组装一个,它是一个合理的选择。被报告的弱点包括较薄的进阶文档,以及可能难以预测的定价。最适合那些想要结果而非要管理 IP 的团队。

Crawlbase Smart AI Proxy

Crawlbase 是我们自己的产品,所以请带着这一点来读。它在这个类别中诚实的强项:一个单一的轮换端点,同时充当数据中心、住宅和移动出口的前台,于是你不必手动为每个目标挑一个池;按请求轮换并在被封时自动重试;以及一个带真实额度的免费档,让你在付钱之前在自己的目标上衡量它。它不是答案的地方在于:如果你确实需要原始住宅 IP 接入一个自定义轮换系统,一个回连池给你一个受管端点刻意抽象掉的控制权。它凭这些真实的长处该在这份名单上,而不是在一份我们捏造的排名的顶端。

免费轮换住宅代理,以及它们为什么有风险

"免费轮换住宅代理"的清单不断流传,而它们指向的东西大多不适合用来承载真实流量。理由是具体的,不是抽象的告诫:

  • 来源不明的 IP。真正免费的住宅 IP 总得来自某处,而那个某处往往是一些设备,其主人从未知情地同意去中继陌生人的流量,它们通过捆绑 SDK、破解应用或彻头彻尾的恶意软件被收割。使用那个池让你成为它下游的一个参与者,随之而来的是法律和声誉上的暴露。
  • 拦截风险。当你不控制出口节点、也没有为它向任何可问责的人付过钱时,运营商可以记录、检查或篡改一切经过它的东西,包括凭据,以及任何并非严格加密之物上的会话 token。一个免费的公共住宅池按定义就是一个不可信的中间人。我们更宽泛的看法在代理安全吗中。
  • 不稳定与失效的 IP。免费池被超额订阅、无人监控,且充斥着已经被烧掉的地址,所以成功率低且不可预测。你花在与池搏斗上的工程时间,比你本可以花在一个便宜的付费档上的还多。

"免费"唯一正当的版本,是一个付费供应商的免费档或试用:在一个可问责、经同意获取的网络上的真实额度,正是你在投入预算之前测试轮换逻辑所要的。Webshare 的免费档和 Crawlbase 的免费额度都符合。用那些;跳过匿名的公共清单。

一个真正免费的住宅池是一个值得不信任的矛盾

真实的住宅带宽要花供应商的钱,因为那些提供其连接的人必须得到补偿。当某样东西免费提供它、却不问任何问题时,成本并没有消失;它转移到了那些设备未经同意被纳入的人身上,也转移到了你身上,你继承了那份责任和拦截风险。一个来自可问责供应商的免费没问题。一个来路不明的免费才是那个警示信号。

供应商概览,一览

把这当作一份候选名单的起点,而非一张计分板。"以……著称"是高层面的声誉;"最适合"是该供应商往往合适的那种工作负载。在做出承诺之前,到每家供应商上核实当前的定价和能力。

供应商 轮换模型 以……著称 最适合
Bright Data 按请求和粘性 最大的池,最深的功能套件 企业级,最难的目标
Oxylabs 按请求和粘性 广泛覆盖,干净 API,SLA 有支持需求的企业
Decodo 按请求和粘性 性价比强,两种轮换模式 中等规模,市场广阔
SOAX 按请求和粘性 精细的运营商与地理定位 位置攸关、偏移动的工作
NetNut 按请求和粘性 直接 ISP 连通性,稳定会话 更长、连续的会话
IPRoyal 按请求和长粘性 流量不过期,经同意获取 不规律、预算意识强的使用
Webshare 自动轮换,可配置 可用的免费档,便宜的数据中心 原型设计,宽松目标
Zyte 受管轮换 单个 API 之后的受管反封禁 卸载抓取技术栈
Crawlbase Smart AI Proxy 按请求,自动重试 横跨 DC/住宅/移动的一个端点 混合目标,受管轮换

一个受管的轮换端点适合什么

上面好几家供应商卖给你一个池让你管理;少数几家卖给你一个替你管理它的端点。如果你不想维护轮换逻辑、不想盯着被烧掉的 IP,或不想为每个目标手动挑一个住宅与数据中心的档次,一个受管的轮换端点把那份工作坍缩成你把客户端指向的一个主机。你保留你的提取逻辑;路由决定移到了网关背后。

Crawlbase Smart AI Proxy

一个端点,按请求在数据中心、住宅和移动 IP 之间轮换,并在被封时重试,于是合适那种的出口被匹配给目标,而不是由你管理 IP 池。有一个带真实额度的免费档,所以让你自己的目标经过它跑一遍,并在你决定之前读一读 Smart AI Proxy 文档

让一个轮换住宅代理投入工作

一旦你选好了供应商,集成就是容易的那部分,因为一个轮换网关只是一个你客户端早已理解的代理:你把工具指向一个主机和端口,网关就按请求更换出口 IP。对于那些还会用 JavaScript 挑战和指纹识别反击的激进目标,同一个端点可以坐在一个一并吸收这些的 crawling API 前面;其中的取舍在回连代理与 crawling API中。

bash
# Rotating residential gateway: one host, a fresh
# exit IP per request. Your scraping logic stays yours.
curl -x "http://_USER_TOKEN_:@smartproxy.crawlbase.com:8012" \
     -k "https://example.com/product/123"

# Same target, twice: each call exits from a
# different residential IP, so neither one piles up.
curl -x "http://_USER_TOKEN_:@smartproxy.crawlbase.com:8012" \
     -k "https://example.com/product/123"

那就是轮换的全部要义浓缩在一个片段里:同样的代码,每次调用背后是一个不同的家庭 IP,没有任何单个地址引来足够的注意而被封。如果你的目标防御森严,或只在 JavaScript 之后才渲染,就依靠一个在同一个轮换池之上叠加渲染和重试的受管层;要对工具做一个更宽泛的概览,参见最适合网络抓取器的代理如何在不被封锁的情况下抓取

回顾

核心要点

  • "轮换"加"住宅"是这个组合。读起来像人类的真实家庭 IP,按请求或按粘性会话更换,使任何单个地址都不被标记。
  • 来源伦理是第一道筛子,不是脚注。一个住宅池只有在提供 IP 的人选择加入并获得报酬时才站得住脚;含糊的回答是一份真实的责任。
  • 在你自己的目标上核实数字。池大小和广告里的成功率是营销平均值;唯一算数的封锁率是你在一次试用上测得的那个。
  • 免费住宅池通常不安全。来源不明、拦截风险和失效的 IP 都伴随匿名免费清单而来;改用一个付费供应商的免费档。
  • 一个受管端点用控制权换取更少的工作。横跨数据中心、住宅和移动的一个网关适合混合目标;当你需要细粒度的 IP 控制时,原始池胜出。

常见问题

什么是轮换住宅代理?

它把你的请求经由互联网服务提供商分配给真实家庭的 IP 地址路由,并在每次请求时或按一个设定的间隔自动更换那个 IP。住宅这部分让你的流量看起来像一个普通访客;轮换这部分使任何单个 IP 都不会累积到足够多的请求而被限速或封禁,这正是它成为大规模抓取标准工具的原因。

轮换住宅代理和静态住宅代理有什么区别?

一个轮换住宅代理自动更换出口 IP,按请求或按短间隔,这适合每个页面相互独立的高体量数据采集。一个静态住宅代理长时间持有一个 IP,这适合必须看起来像一个单一、一致的人的工作,比如管理一个账号。同一种 IP,相反的行为;按你的作业是需要许多身份还是一个稳定身份来选。

免费轮换住宅代理用起来安全吗?

匿名的免费住宅池通常不安全。这些 IP 往往来自未经同意被纳入的设备,你看不见的运营商可以拦截任何并非严格加密之物,而且这些池不稳定、充斥着被烧掉的地址。"免费"安全的版本,是一个付费供应商的免费档或试用,它运行在一个可问责、经同意获取的网络上。用那些来测试,跳过那些公共清单。

我如何在供应商之间做选择?

在读价格之前先在几个维度上确定好是什么样子:来源伦理、轮换控制(按请求和粘性)、在你自己目标上经一次试用测得的真实成功率、一个与你消耗方式相符的定价模型,以及你实际需要的地理覆盖。列出两三家候选,让几千个真实请求经过每一家,并按测得的每次成功请求成本来选,而非任何公布的排名。

轮换住宅该用按 GB 还是按请求的定价?

大多数住宅供应商按 GB 计费,这对轻量页面没问题,但惩罚沉重的页面和重试,因为你连每次失败尝试的带宽也要付费。按请求计费更干净地对应到抓取,那里你在意的是获取的页面数。在比较之前,把每家供应商的费率换算成在你自己数据上的每次成功请求成本(含重试),并提防那些抹掉一个低头条费率的最低消费承诺。

我需要轮换住宅,还是数据中心代理就够了?

先给目标做画像。如果一个干净的数据中心池就能搞定它,住宅就是浪费的开销,因为住宅的信任既要花钱又要损速度。只有当目标主动标记数据中心 IP 或抛出挑战时,轮换住宅才配得上它的价格。先从更便宜的档次起步,只在你确实看到封锁页面时才往上走;完整的对比在数据中心与住宅代理中。

开始构建

大规模爬取任何站点,无需与基础设施对抗。

Crawlbase 负责处理代理、指纹和 CAPTCHA,让你的团队专注于交付数据流水线,而非维护爬取管道。1,000 次请求免费,无需信用卡。

自助开通 · 无需销售通话 · 提供企业级爬取量