实时抓取信息流1.24M req/min正在传输
200github.com/crawlbaseFR214ms
200glassdoor.com/Reviews/index.htmFR168ms
301zillow.com/homes/for_sale/AU213ms
200producthunt.com/posts/notionJP178ms
301yelp.com/biz/blue-bottle-coffeeSG42ms
200booking.com/searchresults.html?ss=ParisGB182ms
200indeed.com/jobs?q=developerUS69ms
200reddit.com/r/programmingES209ms
404amazon.com/dp/B08N5WRWNWGB56ms
200amazon.com/dp/B08N5WRWNWFR112ms
200walmart.com/ip/55048794DE176ms
200indeed.com/jobs?q=developerES139ms
200booking.com/searchresults.html?ss=ParisES158ms
200stackoverflow.com/questions/11227809DE53ms
200reddit.com/r/programmingBR209ms
200ebay.com/itm/204512389011DE198ms
200amazon.com/dp/B08N5WRWNWES147ms
200linkedin.com/jobs/searchGB44ms
200tripadvisor.com/Restaurants-g60763US70ms
200google.com/search?q=web+scrapingFR59ms
301tripadvisor.com/Restaurants-g60763FR46ms
200linkedin.com/jobs/searchUS134ms
200amazon.com/dp/B08N5WRWNWNL80ms
200booking.com/searchresults.html?ss=ParisGB55ms
200producthunt.com/posts/notionDE161ms
200booking.com/searchresults.html?ss=ParisUS127ms
200github.com/crawlbaseFR214ms
200glassdoor.com/Reviews/index.htmFR168ms
301zillow.com/homes/for_sale/AU213ms
200producthunt.com/posts/notionJP178ms
301yelp.com/biz/blue-bottle-coffeeSG42ms
200booking.com/searchresults.html?ss=ParisGB182ms
200indeed.com/jobs?q=developerUS69ms
200reddit.com/r/programmingES209ms
404amazon.com/dp/B08N5WRWNWGB56ms
200amazon.com/dp/B08N5WRWNWFR112ms
200walmart.com/ip/55048794DE176ms
200indeed.com/jobs?q=developerES139ms
200booking.com/searchresults.html?ss=ParisES158ms
200stackoverflow.com/questions/11227809DE53ms
200reddit.com/r/programmingBR209ms
200ebay.com/itm/204512389011DE198ms
200amazon.com/dp/B08N5WRWNWES147ms
200linkedin.com/jobs/searchGB44ms
200tripadvisor.com/Restaurants-g60763US70ms
200google.com/search?q=web+scrapingFR59ms
301tripadvisor.com/Restaurants-g60763FR46ms
200linkedin.com/jobs/searchUS134ms
200amazon.com/dp/B08N5WRWNWNL80ms
200booking.com/searchresults.html?ss=ParisGB55ms
200producthunt.com/posts/notionDE161ms
200booking.com/searchresults.html?ss=ParisUS127ms
01 实时演示
输入任意 URL，输出 HTML 或 JSON。
实时输入的 Crawling API。抓取页面以获取渲染后的 HTML，或采集页面以获取结构化 JSON。悬停可暂停阅读。
几分钟内运行你的第一个请求。最多 20,000 次免费请求，无需信用卡。免费开始
02 功能
一个端点，底层承载整个技术栈。
大规模抓取中每一个棘手的环节都为你处理好：真实浏览器、住宅网络，以及每个请求都清除的机器人防御。
渲染
完整的 JavaScript 渲染
真实浏览器执行页面，因此动态加载的内容、无限滚动和单页应用都会被捕获，而不仅仅是初始 HTML。
代理
140M 住宅 IP
每个请求都会在 30 个地区之间轮换住宅 IP，让你像真实本地访客一样访问任何网站。
反机器人
处理封锁和 CAPTCHA
机器人拦截、CAPTCHA 和速率限制都会被自动清除。无需破解，网站变化时也无需维护。
提取
Autoparse 和 scraper
获取完整渲染的 HTML，或添加 autoparse=true 或 scraper=… 以将标题、内容、价格、图片和链接以 JSON 形式返回。
捕获
截图
添加 screenshot=true 以捕获渲染后页面的整页图像，已存储并可供下载。
03 参数
每个请求都可完全参数化。
一个端点，由查询参数控制。地理定位、渲染、解析、截图、存储和会话，全部来自同一次调用。
token=PRIVATE_TOKEN
必填。您的 API 访问令牌。
url=https://crawlbase.com/ip
必填。要抓取的 URL。
country=US
代理所在国家，覆盖 48 个以上国家。
scraper=scraper-name
先抓取，再用 scraper 提取数据。
screenshot=true
将浏览器画面保存为图片截图。
format=html
响应格式：html、json 或 md（Markdown）。
store=true
将抓取或提取的数据存储到云端。
device=mobile
在移动设备或桌面端抓取。
autoparse=true
Crawling API 可自动解析任意网页。
tor_network=true
通过 Tor 网络抓取 onion 网站。
04 工作原理
一次调用，从 URL 到数据。
每个请求都经过相同的路径。你发送一个 URL，我们负责其间的一切。
01
你发送 URL
传入任意 URL 和你的 token，以及所需的任意参数：国家/地区、渲染等待、解析、截图或存储。
02
我们轮换代理
选取能够干净访问该网站的住宅 IP 和地区，取自遍布 30 个区域的 140M IP。
03
我们渲染页面
真实浏览器加载页面，因此 JavaScript、动态内容和无限滚动都会在捕获前渲染完成。
04
我们清除反机器人
机器人检查、CAPTCHA 和速率限制都会被自动处理。无需破解，也无需维护。
05
我们返回 HTML 或 JSON
完整渲染的 HTML 会返回，当你添加 scraper 或 autoparse 时返回类型化 JSON，当你请求时返回干净的 Markdown，当你请求截图时返回图像。
05 应用场景
团队用 Crawling API 构建什么。
USE / 01电商
价格和目录监控
跨零售商和市场追踪价格、库存和商品列表，每次抓取都解析为 JSON。
USE / 02搜索
SERP 和 SEO 追踪
抓取搜索结果和竞争对手页面，大规模监控排名、摘要和内容。
USE / 03AI
训练数据和 RAG
通过一个 API 将干净的渲染页面和结构化 JSON 输入到模型、RAG 管道和智能体中。
USE / 04增长
线索和联系人发现
抓取目录、资料和商品列表，构建并丰富销售管道。
USE / 05研究
市场和内容情报
聚合新闻、评论和公开数据，为产品、定价和战略提供依据。
USE / 06覆盖范围
任意网站，一个 API
用同一个 token 抓取任意公开 URL，从单个页面到用异步 crawler 抓取数百万页面。
06 Pricing
One rate card, shared with every product.
Crawling API requests spend credits on the platform ladder: rates fall as monthly volume grows, and only successful requests are billed.
Pay as you go$3.00 down to $0.02 per 1,000 successful requests
Only successful requests are billed, and rates fall as volume grows. Optional subscriptions from $99 / mo. Start free with up to 20,000 requests, no credit card.
07 说明
值得了解。
免费测试
最多 20,000 次请求免费，无需信用卡。同一个 token 可用于 Crawling API 和每一个 scraper。
简单的按使用量计费
按你抓取的量付费，无长期合同，可随时取消。在定价页面查看完整明细。
完整的文档
每个参数和响应都在 Crawling API 文档中有介绍，并为每个 SDK 提供可复制粘贴的示例。
符合 GDPR 和 CCPA
Crawlbase 在全球范围内实施消费者保护标准，在数据处理方式中内置了公平性和透明度。
08 为什么选择 Crawlbase
为大规模抓取网络而生。
Crawling API 运行在同一个网络上，该网络服务着 46,000+ 付费客户和 70,000+ 开发者。无需购买代理，无需运行浏览器，网站变化时也无需修补任何东西。
99%
平均请求成功率
46K+
网络上的付费客户
30
用于精准本地结果的地区数
99.99%
网络正常运行时间
一个 token，为 Node、Python、Ruby、PHP、Java、.NET 和 Go 提供官方 SDK，底层承载住宅网络。
09 FAQ
Crawling API 常见问题。
一个单一的 REST API，在真实浏览器中通过住宅代理抓取任意 URL，清除机器人检查和 CAPTCHA，并返回完整渲染的 HTML。添加 scraper 或 autoparse 以获取结构化 JSON，或添加 screenshot=true 以获取图像。
会。真实浏览器执行页面，因此动态加载的内容、无限滚动和单页应用都会被捕获，而不仅仅是初始 HTML。对于加载缓慢的页面，可添加 ajax_wait 或 page_wait。
可以。添加 scraper=generic-extractor 获取通用 JSON，添加 autoparse=true 用于 Amazon 和 Google 等热门网站，或使用具名 scraper 用于特定网站。否则你会获得完整渲染的 HTML 供自行解析。
Crawlbase 将每个请求通过 30 个地区的轮换住宅 IP 路由，并自动清除机器人检查。你无需管理代理或破解 CAPTCHA，网站更改其配置时也无需维护任何东西。
可以。添加 screenshot=true，API 会将渲染后页面的整页截图捕获为图像，并为你存储最长一小时。
任意语言和框架。Crawling API 是一个纯 REST 端点，为 Node、Python、Ruby、PHP、Java、.NET 和 Go 提供官方 SDK，因此可以直接融入你现有的技术栈。
Start free with up to 20,000 requests and no credit card. After that you pay per successful request on one graduated rate card shared by every Crawlbase product, with optional subscriptions from $99 a month. See the pricing page for the full rate card.