移动代理通过手机的蜂窝网络连接路由你的请求,使目标网站看到的是运营商 IP 而非你自己的 IP。这听起来只是另一种代理类型,但 IP 的来源才是让它与众不同的关键:移动 IP 属于由运营商运营的 3G、4G 或 5G 网络,而运营商将每个公网 IP 在大量真实用户之间共享。这一个事实(而非任何聪明的软件)就是移动代理最难被封锁的原因。
本文介绍什么是移动代理、运营商网络加运营商级 NAT 如何制造这种信任、轮换机制如何在其上运作,以及移动代理何时值得为其溢价买单(与住宅或数据中心 IP 相比),以及何时纯属浪费。有一点要记住:移动是最受信任、最昂贵的层级,因此应该最后才使用,而非第一个。
什么是移动代理
代理是你的客户端与目标之间的一层中间跳转:它代替你发送请求,使目标看到的是代理的 IP 而非你的。移动代理是同样的中间层,只是对出口 IP 有一个约束:它必须是运营商分配给其 3G、4G 或 5G 网络上真实蜂窝设备的 IP。
这个约束就是整个产品的价值所在。数据中心 IP 来自托管服务商的地址段,任何网站都可以查询到。住宅 IP 来自家庭宽带线路。移动 IP 来自运营商的蜂窝地址池,对目标来说与使用移动数据的手机无法区分,因为很多真实场景确实就是这样:调制解调器中的一张 SIM 卡。
它不需要你手持的手机。商业移动代理运行在装满 SIM 卡的调制解调器组和专用硬件上,整齐地放置在机架中。流量仍像用户的流量一样通过运营商传出,而这正是目标唯一能观察到的。
运营商 IP 加 CGNAT 如何创造信任
移动 IP 难以封锁的原因在于运营商如何分配地址空间。网络上的手机数量远超可分配给它们的公网 IPv4 地址数量,因此运营商使用运营商级 NAT (CGNAT) 将数千个用户置于单个公网 IP 后面。在内部,每个设备获得一个私有地址;在传出时,运营商将所有流量转换到一个小型共享公网 IP 池上。
对于目标网站,这改变了封锁的代价计算。数据中心 IP 对应一个客户,封锁它对网站没有任何代价。移动 IP 对应一群通过 CGNAT 共享它的真实用户,因此封锁它有锁定大量合法手机用户的风险。反爬虫系统深知这一点,对移动 IP 比任何其他来源都更为谨慎。共享 IP 不是你在利用的漏洞;它是每个蜂窝网络的正常架构,你的流量就融入其中。
还有第二个效应。运营商随着设备连接、断开和在基站间移动而不断重新分配这些共享 IP。这种变动已内置于网络中,因此移动 IP 携带的声誉历史读起来像是普通的人类噪音,而非干净、可疑的稳定地址。
轮换机制如何在其上运作
轮换是你在单一运营商连接上叠加的层级,使其可用于爬取。两种模式涵盖了几乎所有使用场景。
轮换出口按计划或每次请求更换 IP。部分移动代理通过循环调制解调器的连接触发新的运营商 IP,迫使网络从共享池中分配一个新地址。其他代理则位于前置多个 SIM 卡的反向连接网关后面,在它们之间轮换。无论哪种方式,你的爬虫访问一个端点,随时间获得不同的出口 IP,分散负载使任何单个地址都不会触发速率限制。如果这个模式对你来说是新的,如何使用轮换代理详细介绍了任何 IP 池的运作机制。
粘性会话则有意做相反的事。它们在一定时间窗口内保持同一个出口 IP,使多步骤流程(登录、购物车、分页结果集)看起来像是同一个持续用户。在移动场景下,这对绑定会话到设备的应用平台很有用,但它与网络的自然变动相悖,因此窗口通常很短。
轮换不会让移动代理更可信。信任已内置于运营商 IP 中;轮换只是控制你如何使用它:分散在多个请求上,还是集中于一个会话身份。关于为什么更换 IP 有意义,请参阅什么是轮换 IP 地址。
移动代理、住宅代理与数据中心代理对比
这三种来源不是从差到好的质量等级。它们是以不同价格提供不同程度信任的选择,正确的选择是以最低成本通过目标审查的那个。以下是它们在爬虫真正关心的方面的对比。
| 属性 | 数据中心 | 住宅 | 移动 |
|---|---|---|---|
| IP 来源 | 托管服务商地址段 | 家庭 ISP 线路 | 运营商 3G/4G/5G(经 CGNAT) |
| 对目标的可信度 | 低,明显的托管 ASN | 高,看起来像家庭用户 | 最高,看起来像手机 |
| 封锁难度 | 容易,一次 ASN 查询即可 | 困难 | 最难,封锁有误封真实用户的风险 |
| 速度 | 最快 | 较慢,消费者链路 | 最慢,蜂窝网络延迟有变动 |
| 相对成本 | 最低 | 较高,按带宽计费 | 最高 |
| 最佳适用场景 | 容易访问的大流量网站 | 具有强力反爬虫的目标 | 仅限移动优先平台 |
成本和速度列是方向,不是常量:各层之间的确切差距因服务商、地区和计费方式(按带宽等)而异。始终成立的是排序。数据中心最便宜、最容易被识别,移动最贵、最受信任,住宅居中。两个较便宜层级之间的深层区别在数据中心与住宅代理对比中,而轮换住宅与静态住宅之间常被混淆的界限在ISP 代理与住宅代理的主要区别中。
移动代理何时值得溢价
移动是信任阶梯的顶端,这使它成为大多数任务价值阶梯的底端:你为目标从未要求的信任付费。诚实的规则是:只有当下一层级被封锁时,才升级到移动。
应该使用移动代理的情况:
- 目标是移动优先的应用平台。期望蜂窝流量的社交网络和应用平台会质询住宅 IP,但容忍移动 IP,因为移动正是其真实用户所用的网络。
- 住宅代理已失效。如果强力目标即使对住宅 IP 也返回封锁页面,移动是下一个选项,通常也是在完全托管方案之前的最后一个。
- 广告和内容验证。检查移动广告或地理定向内容对手机用户的实际呈现方式,需要成为手机用户,而只有移动 IP 才能令人信服地模拟这一点。
不应该使用移动代理的情况:
- 数据中心池已能通过目标审查。公开目录、文档和防护薄弱的页面根本不需要这种信任。在这里使用移动是双重的过度花费。
- 住宅代理已足够。大多数强力电商和搜索目标使用住宅代理即可应对。如果能过,移动代理除了更大的账单和更慢的响应外,什么都买不到。
- 你需要原始吞吐量。移动是延迟变动最大、速度最慢的层级。对于速度是约束条件的大规模抓取,无论信任度如何,它都是错误的工具。
"直接用移动代理这样什么都不会封锁我"的直觉,正是抓取预算悄悄失血的方式。信任既耗费金钱又降低速度,大多数目标所需的信任远低于移动代理所能提供的。先分析目标:如果数据中心或住宅池能通过,移动代理就是浪费。只有当下面那一层真的被封锁时,才升级到移动,然后就停在那里。
权衡,诚实地说
移动代理只在一个维度上胜出(信任),在其他维度上都处于劣势,因此要对溢价带来什么、代价是什么保持清醒认识。
速度与稳定性。蜂窝链路比有线链路延迟更高、变动更大,网络的自然变动可能在会话中途更换你的 IP。你可以用粘性窗口来管理这一点,但你始终在对抗这种介质,而非与之配合。
成本。移动是运营成本最高的来源,因为每个出口 IP 都追溯到真实运营商套餐上的真实 SIM 卡。这种成本无论以何种方式打包都会体现在你的账单上,因此保持理性的唯一方法是不在较便宜层级就能解决的场景中使用移动代理。
来源与道德。IP 池的可信度取决于其 IP 的获取方式。住宅代理也存在这个问题,但在这里尤为重要,因为你在通过与真实用户相关联的基础设施路由流量。使用有明确、基于同意的来源政策的服务商,而非来源不明的 IP 池;我们在代理是否安全中更广泛地讨论了这个问题。
无需管理 SIM 卡即可使用移动出口
自建移动代理意味着购买 SIM 卡、调制解调器和用于轮换的硬件,然后维持这个设备农场的运行。大多数团队不想这样做。替代方案是使用已经汇聚移动 IP 池(以及数据中心和住宅代理)的托管端点,让你将客户端指向单个主机并由其选择出口。
Smart AI Proxy 是一个轮换端点,其 IP 池包含移动出口,以及住宅和数据中心代理。它按请求轮换并在遇到封锁时重试,因此当目标需要运营商级信任时,你可以获得它而无需运营 SIM 卡农场,当不需要时也不必为此付费。先在免费套餐上针对你的真实目标测试。
对于爬虫来说,通过网关的移动出口就是一个普通代理:一个主机、一个端口和一个 token。你对任何 IP 池使用的同一个 curl 命令同样有效,轮换在后端进行。
# Route a request through the rotating gateway and # read back the exit IP the target actually sees. curl -x "http://_USER_TOKEN_:@smartproxy.crawlbase.com:8012" \ -k "https://httpbin.org/ip" # Response shows a pool IP, not yours. Send again # and rotation can hand you a different exit. { "origin": "203.0.113.42" }
这就是完整的集成方式。移动代理的复杂部分(SIM 卡、轮换、封锁处理)都隐藏在端点背后,你的代码仍将其视为普通代理。
核心要点
- 移动代理通过运营商 IP 出口。来源是 3G、4G 或 5G,而这个来源就是整个产品的价值。
- CGNAT 是它最难被封锁的原因。数千名真实用户共享每个公网 IP,因此封锁一个意味着风险误封一大群人。
- 轮换消耗信任,而非创造信任。信任来自运营商 IP;轮换只是控制你如何使用它:分散在多个请求上,还是集中于一个会话。
- 移动是最受信任、最昂贵的层级。它在信任上胜出,在速度和成本上处于劣势,因此应该最后才使用。
- 购买目标所需的最低信任即可。如果数据中心或住宅代理能通过,移动代理就是浪费的开支。
常见问题
什么是移动代理?
移动代理是一种出口 IP 来自移动运营商 3G、4G 或 5G 网络而非数据中心或家庭宽带线路的代理。它代替你发送请求,使目标网站看到的是一个看起来像普通手机使用移动数据浏览的运营商 IP。蜂窝来源是它区别于所有其他代理类型的特征。
为什么移动代理最难被封锁?
运营商使用运营商级 NAT (CGNAT) 在数千名用户之间共享每个公网 IP。由于单个移动 IP 对应一大群真实用户,封锁它有锁定真实手机用户的风险,因此反爬虫系统对移动 IP 比数据中心或住宅 IP 更为谨慎。共享 IP 架构是每个蜂窝网络的正常设计,你的流量就融入其中。
移动代理如何轮换 IP 地址?
有两种方式。轮换出口按计划或每次请求更换 IP,方法是循环调制解调器的运营商连接,或通过反向连接网关前置多个 SIM 卡。粘性会话则相反,在短时间窗口内保持同一个 IP,使登录或多步骤流程看起来像一个持续用户。轮换控制你如何使用运营商 IP 的信任;它不会增加信任。
移动代理比住宅或数据中心代理更好吗?
并非一般意义上的更好;它们更受信任、更昂贵。移动代理处于信任阶梯的顶端和大多数任务价值阶梯的底端,因为你为目标从未要求的信任付费。对容易访问的大流量网站使用数据中心,对强力目标使用住宅,只有住宅被封锁或平台是移动优先时才使用移动。
什么时候应该使用移动代理?
当目标是期望蜂窝流量的移动优先应用平台、住宅 IP 已被封锁,或者你在验证移动广告或地理定向内容对真实用户的呈现方式时,才使用移动代理。如果数据中心或住宅池已能通过你的目标,移动代理除了更大的账单和更慢的响应外,什么都买不到。
运行移动代理需要真实手机吗?
不需要。商业移动代理运行在装满 SIM 卡的调制解调器组和专用硬件上,而非你手持的手机。流量仍像用户的流量一样通过运营商传出。如果你根本不想运营这些硬件,包含移动出口的托管端点让你可以像使用普通代理一样使用它们,而无需拥有任何 SIM 卡。
大规模爬取任何站点,无需与基础设施对抗。
Crawlbase 负责处理代理、指纹和 CAPTCHA,让你的团队专注于交付数据流水线,而非维护爬取管道。1,000 次请求免费,无需信用卡。
