开始使用
五个简短的页面,带您从注册到完成第一次成功的爬取,然后介绍开始发送真实流量后所需的运维细节 - 身份验证、配额、错误。从头到尾阅读,或直接跳转到您来找的那一部分。
从 快速开始 入手 - 它能让您在五分钟内完成一个可用的请求。本节中的其他页面是参考资料,您可以在遇到问题时回来查阅。
您的第一个请求
- 快速开始 - 注册、获取您的 token,并在五分钟内发送一个可用的爬取请求。提供 curl、Python、Node.js、Ruby、PHP、Go、Java 和 C# 的代码示例。请先阅读这一篇。
身份验证与限制
请求开始流动之后,接下来的问题通常是「身份验证如何工作?」以及「我可以发送多少请求?」。两个简短的参考页面涵盖了这两点。
- 身份验证 - Normal token 与 JavaScript token 的区别,为何有两种,何时使用哪种,以及如何避免将其泄露到代码仓库中。所有 Crawlbase API 都以相同的方式进行 token 身份验证,因此这一规则适用于整个平台。
- 速率限制 - 各套餐层级的并发预算、请求吞吐量与并发连接数之间的区别,以及触达上限时的回退策略。
状态码与错误
真实流量意味着真实的失败 - 验证码、地域封锁、目标网站宕机、您自己的客户端错误配置了参数。两个页面解释了返回的内容以及如何应对。
- 状态码 - 平台返回的每一个 HTTP 状态码及其含义。Crawlbase 将响应拆分为两个状态字段(
pc_status表示我方状态,original_status表示目标网站状态),以便您区分两种失败模式。 - 错误处理 - 可恢复错误与终结性错误、重试策略,以及平台返回的具体错误结构,便于您的客户端据此分支处理。
下一步
完成「开始使用」后,平台从两个维度展开:您在构建什么,以及您希望如何集成。
- 按 API 维度:API 参考 涵盖 Crawling API、Smart AI Proxy、Cloud Storage、Enterprise Crawler,以及更小的辅助接口(Account API、User Agents API)。
- 按集成方式:SDKs 提供七大主流语言的支持,集成 适用于低代码平台(LangChain、Zapier、n8n、Make、Airbyte),AI & MCP 部分则面向通过 Claude、Cursor、VS Code 及其他支持 MCP 的客户端进行的代理驱动访问。
- 按任务维度:Scraper Library 提供了现成的 scraper,可针对常见站点返回结构化的 JSON - 通常比您自己解析 HTML 更快。
- 用于实验:API Playground 让您在浏览器中构建并运行实时请求,无需编写任何客户端代码。