# 数分钟内的抓取API
我们创建了一个 API,它可以让 Crawlbase 非常容易收集到您的虫子项目中。
# 您的第一个 API 调用
所有 API URL 都以下面的基本内容: https://api.crawlbase.com
所以,你的第一个电话就像在终端中运行下面的行一样简单。
继续尝试!
curl 'https://api.crawlbase.com/?token=_USER_TOKEN_&url=https%3A%2F%2Fgithub.com%2Fcrawlbase%3Ftab%3Drepositories'
有时使用内容您可以通过简单的方式,因为该站点在启用 JavaScript 时能够工作,或者因为需要 JavaScript 的外观,因此需要使用 JavaScript 来浏览。
来试试JS爬取吧!
curl 'https://api.crawlbase.com/?token=_JS_TOKEN_&url=https%3A%2F%2Fgithub.com%2Fcrawlbase%3Ftab%3Drepositories'
备注 这 解决方案&帖子 也支持请求。请[去这里]/zh-cn/crawling-api/post/)了解更多信息或继续下面的API参数。
# 免费试玩
前1,000个请求是免费的。
确保充值使用免费试用版!
# 速度限制
API 的限制为性质 此 20 个请求, 可以(可以根据要求增加加速限制)。
这意味着您可以发送 最高级 20 个请求 这意味着每月大约 51 个请求,不管他们使用什么话题。
API将响应 429
超过波动限制时的状态码。
请注意: 某些网站可能有较低的限制。如果您需要更高的限制,请 联系支持(在新窗口中) (打开新窗口).
# API响应时间
API 的平均响应时间在 4 到 10 秒之间, 我们推荐 90 为秒秒的调用设置。
# 成功与失败
我们只对成功的请求收费(请参见[原始状态]/zh-cn/crawling-api/response/#original-status)和 电脑状态 在下面的响应参数中)。
# 其他说明
- 如果您更喜欢使用库来收集Crawlbase,您可以查看可用的 API库在这里(在新窗口中) (打开新窗口).
- 建议使用 Accept-Encoding gzip 标头。
- 如果您使用Scrapy for python,请确保 禁止DNS缓存(打开新窗口) (打开新窗口).
# 认证
您需要使用身份标识身份验证 API。
你有另一个浏览器;另一个用于普通请求,JavaScript 请求(真实器)。
普通代币
_USER_TOKEN_
JavaScript 指令牌
_JS_TOKEN_
请注意: 如果您没有看到您的令牌请
先在这里登录 然后刷新此页面。