# 数分钟内的抓取 API
我们创建了一个 API,它可以让 Crawlbase 非常容易地集成到您的爬虫项目中。
# 您的第一个 API 调用
所有 API URL 都以以下基本部分开头: https://api.crawlbase.com
因此,拨打您的第一个电话就像在终端中运行以下行一样简单。
继续尝试!
curl 'https://api.crawlbase.com/?token=_USER_TOKEN_&url=https%3A%2F%2Fgithub.com%2Fcrawlbase%3Ftab%3Drepositories'
有时使用普通令牌是不够的,因为该站点仅在启用 JavaScript 浏览器时才能工作,或者因为您需要的内容是通过客户端的 JavaScript 呈现的,因此您需要使用 JavaScript 令牌。
来试试 JS 爬取吧!
curl 'https://api.crawlbase.com/?token=_JS_TOKEN_&url=https%3A%2F%2Fgithub.com%2Fcrawlbase%3Ftab%3Drepositories'
备注 这 解决方案&帖子 也支持请求。 请 去这里 了解更多信息或继续下面的 API 参数。
# 免费试用
前 1,000 个请求是免费的。
确保充分使用免费试用版!
# 速率限制
API 的速率限制为最大值 每秒 20 个请求, 每个令牌(可根据要求增加速率限制)。
这意味着您可以发送 每秒最多 20 个请求,这意味着每月大约 51 万个请求,无论他们使用多少线程。
API 将响应 429
超过速率限制时的状态码。
请注意: 某些特定网站可能有较低的限制。 如果您需要更高的限制,请 联系支持 (打开新窗口).
# API 响应时间
API 的平均响应时间在 4 到 10 秒之间,但 我们推荐 为至少 90 秒的调用设置超时。
# 成功与失败
我们只对成功的请求收费(请参阅 原始状态 和 电脑状态 在下面的响应参数中)。
# 其他说明
- 如果您更喜欢使用库来集成 Crawlbase,您可以查看可用的 API库在这里 (打开新窗口).
- 建议使用 Accept-Encoding gzip 标头。
- 如果您使用 Scrapy for python,请确保 禁用 DNS 缓存 (打开新窗口).
# 认证
您将需要身份验证令牌才能使用 API。
你有两个令牌; 一个用于普通请求,另一个用于 JavaScript 请求(真实浏览器)。
普通令牌
_USER_TOKEN_
JavaScript 令牌
_JS_TOKEN_
请注意: 如果您没有看到您的令牌请
先在这里登录 然后刷新此页面。
无头浏览器 →