实时抓取信息流1.24M req/min正在传输
200indeed.com/jobs?q=developerAU162ms
200linkedin.com/jobs/searchUS45ms
200zillow.com/homes/for_sale/ES151ms
200target.com/p/-/A-79404211FR67ms
200producthunt.com/posts/notionBR215ms
301google.com/search?q=web+scrapingUS186ms
200ebay.com/itm/204512389011NL205ms
200stackoverflow.com/questions/11227809SG64ms
301producthunt.com/posts/notionSG150ms
200linkedin.com/jobs/searchNL90ms
200linkedin.com/jobs/searchJP53ms
200github.com/crawlbaseFR218ms
200ebay.com/itm/204512389011US122ms
200linkedin.com/jobs/searchNL186ms
301google.com/search?q=web+scrapingAU81ms
200ebay.com/itm/204512389011DE98ms
200walmart.com/ip/55048794DE65ms
200indeed.com/jobs?q=developerSG158ms
200google.com/search?q=web+scrapingAU72ms
200tripadvisor.com/Restaurants-g60763ES71ms
200stackoverflow.com/questions/11227809AU189ms
200ebay.com/itm/204512389011BR174ms
200stackoverflow.com/questions/11227809AU181ms
200amazon.com/dp/B08N5WRWNWSG60ms
200tripadvisor.com/Restaurants-g60763BR165ms
404indeed.com/jobs?q=developerCA93ms
200indeed.com/jobs?q=developerAU162ms
200linkedin.com/jobs/searchUS45ms
200zillow.com/homes/for_sale/ES151ms
200target.com/p/-/A-79404211FR67ms
200producthunt.com/posts/notionBR215ms
301google.com/search?q=web+scrapingUS186ms
200ebay.com/itm/204512389011NL205ms
200stackoverflow.com/questions/11227809SG64ms
301producthunt.com/posts/notionSG150ms
200linkedin.com/jobs/searchNL90ms
200linkedin.com/jobs/searchJP53ms
200github.com/crawlbaseFR218ms
200ebay.com/itm/204512389011US122ms
200linkedin.com/jobs/searchNL186ms
301google.com/search?q=web+scrapingAU81ms
200ebay.com/itm/204512389011DE98ms
200walmart.com/ip/55048794DE65ms
200indeed.com/jobs?q=developerSG158ms
200google.com/search?q=web+scrapingAU72ms
200tripadvisor.com/Restaurants-g60763ES71ms
200stackoverflow.com/questions/11227809AU189ms
200ebay.com/itm/204512389011BR174ms
200stackoverflow.com/questions/11227809AU181ms
200amazon.com/dp/B08N5WRWNWSG60ms
200tripadvisor.com/Restaurants-g60763BR165ms
404indeed.com/jobs?q=developerCA93ms
01 实时演示
输入任意 URL，输出 HTML 或 JSON。
实时输入的 Crawling API。抓取页面以获取渲染后的 HTML，或采集页面以获取结构化 JSON。悬停可暂停阅读。
几分钟内运行你的第一个请求。最多 10,000 次免费请求，无需信用卡。免费开始
02 功能
一个端点，底层承载整个技术栈。
大规模抓取中每一个棘手的环节都为你处理好：真实浏览器、住宅网络，以及每个请求都清除的机器人防御。
渲染
完整的 JavaScript 渲染
真实浏览器执行页面，因此动态加载的内容、无限滚动和单页应用都会被捕获，而不仅仅是初始 HTML。
代理
140M 住宅 IP
每个请求都会在 30 个地区之间轮换住宅 IP，让你像真实本地访客一样访问任何网站。
反机器人
处理封锁和 CAPTCHA
机器人拦截、CAPTCHA 和速率限制都会被自动清除。无需破解，网站变化时也无需维护。
提取
Autoparse 和 scraper
获取完整渲染的 HTML，或添加 autoparse=true 或 scraper=… 以将标题、内容、价格、图片和链接以 JSON 形式返回。
捕获
截图
添加 screenshot=true 以捕获渲染后页面的整页图像，已存储并可供下载。
03 参数
每个请求都可完全参数化。
一个端点，由查询参数控制。地理定位、渲染、解析、截图、存储和会话，全部来自同一次调用。
token=PRIVATE_TOKEN
Required. Your API access token.
url=https://crawlbase.com/ip
Required. A URL to crawl.
country=US
Proxy location country, +48 countries.
scraper=scraper-name
Crawl then extract with a scraper.
screenshot=true
Take screenshots of browser as images.
format=html
Response format: html, json or md (Markdown).
store=true
Store your crawled or scraped data in the cloud.
device=mobile
Crawl on mobile devices or desktop.
autoparse=true
Crawling API can autoparse any web page.
tor_network=true
Crawl onion websites over the Tor network.
04 工作原理
一次调用，从 URL 到数据。
每个请求都经过相同的路径。你发送一个 URL，我们负责其间的一切。
01
你发送 URL
传入任意 URL 和你的 token，以及所需的任意参数：国家/地区、渲染等待、解析、截图或存储。
02
我们轮换代理
选取能够干净访问该网站的住宅 IP 和地区，取自遍布 30 个区域的 140M IP。
03
我们渲染页面
真实浏览器加载页面，因此 JavaScript、动态内容和无限滚动都会在捕获前渲染完成。
04
我们清除反机器人
机器人检查、CAPTCHA 和速率限制都会被自动处理。无需破解，也无需维护。
05
我们返回 HTML 或 JSON
完整渲染的 HTML 会返回，当你添加 scraper 或 autoparse 时返回类型化 JSON，当你请求时返回干净的 Markdown，当你请求截图时返回图像。
05 应用场景
团队用 Crawling API 构建什么。
USE / 01电商
价格和目录监控
跨零售商和市场追踪价格、库存和商品列表，每次抓取都解析为 JSON。
USE / 02搜索
SERP 和 SEO 追踪
抓取搜索结果和竞争对手页面，大规模监控排名、摘要和内容。
USE / 03AI
训练数据和 RAG
通过一个 API 将干净的渲染页面和结构化 JSON 输入到模型、RAG 管道和智能体中。
USE / 04增长
线索和联系人发现
抓取目录、资料和商品列表，构建并丰富销售管道。
USE / 05研究
市场和内容情报
聚合新闻、评论和公开数据，为产品、定价和战略提供依据。
USE / 06覆盖范围
任意网站，一个 API
用同一个 token 抓取任意公开 URL，从单个页面到用异步 crawler 抓取数百万页面。
06 定价
添加你要抓取的网站，查看价格。
添加你要抓取的网站及其每月请求量和请求类型。我们按难度和类型将它们分组，然后根据每组的合计请求量定价，因此抓取越多，价格越低。
100k / mo
暂无网站。请在上方添加一个以开始估算。
07 说明
值得了解。
免费测试
最多 10,000 次请求免费，无需信用卡。同一个 token 可用于 Crawling API 和每一个 scraper。
简单的按使用量计费
按你抓取的量付费，无长期合同，可随时取消。在定价页面查看完整明细。
完整的文档
每个参数和响应都在 Crawling API 文档中有介绍，并为每个 SDK 提供可复制粘贴的示例。
符合 GDPR 和 CCPA
Crawlbase 在全球范围内实施消费者保护标准，在数据处理方式中内置了公平性和透明度。
08 为什么选择 Crawlbase
为大规模抓取网络而生。
Crawling API 运行在同一个网络上，该网络服务着 46,000+ 付费客户和 70,000+ 开发者。无需购买代理，无需运行浏览器，网站变化时也无需修补任何东西。
99%
平均请求成功率
46K+
网络上的付费客户
30
用于精准本地结果的地区数
99.99%
网络正常运行时间
一个 token，为 Node、Python、Ruby、PHP、Java、.NET 和 Go 提供官方 SDK，底层承载住宅网络。
09 FAQ
Crawling API 常见问题。
一个单一的 REST API，在真实浏览器中通过住宅代理抓取任意 URL，清除机器人检查和 CAPTCHA，并返回完整渲染的 HTML。添加 scraper 或 autoparse 以获取结构化 JSON，或添加 screenshot=true 以获取图像。
会。真实浏览器执行页面，因此动态加载的内容、无限滚动和单页应用都会被捕获，而不仅仅是初始 HTML。对于加载缓慢的页面，可添加 ajax_wait 或 page_wait。
可以。添加 scraper=generic-extractor 获取通用 JSON，添加 autoparse=true 用于 Amazon 和 Google 等热门网站，或使用具名 scraper 用于特定网站。否则你会获得完整渲染的 HTML 供自行解析。
Crawlbase 将每个请求通过 30 个地区的轮换住宅 IP 路由，并自动清除机器人检查。你无需管理代理或破解 CAPTCHA，网站更改其配置时也无需维护任何东西。
可以。添加 screenshot=true，API 会将渲染后页面的整页截图捕获为图像，并为你存储最长一小时。
任意语言和框架。Crawling API 是一个纯 REST 端点，为 Node、Python、Ruby、PHP、Java、.NET 和 Go 提供官方 SDK，因此可以直接融入你现有的技术栈。
免费开始，含最多 10,000 次请求且无需信用卡。付费套餐随使用量扩展，同一个 token 可用于 Crawling API 和每一个 Crawlbase scraper。