# 如何准许的?
如果要在代理后面使用刷取API,请参考文档 Smart Proxy (打开新窗口) (打开新窗口) 产品。如果您不想购买 Smart Proxy 订阅或您想使用所有功能 Crawling API 没有限制和更高的速率限制,那么请继续阅读下一段。
全部 Crawling API 在代理模式下调用应该转到 http://smartproxy.crawlbase.com
和端口 8000
使用您的访问令牌作为代理用户名。请注意,此处使用的端口与 Smart Proxy,因此请确保使用正确的端口, Smart Proxy 文档指南。
因此,您的第一个电话就像在终端中运行以下一样简单。
curl -x "http://[email protected]:8000" -k "http://httpbin.org/ip"
要 JavaScript (无头浏览器)而不是普通请求,请继续请求在终端试用以下操作:
curl -x "http://[email protected]:8000" -k "http://httpbin.org/ip"
# 速度限制
目前情况下 Crawling API 代理模式下的速率限制为每秒 20 个请求(每天 1.728M 个请求)。如果您的代理管理解决方案使用的是并发请求/线程是每秒请求,则需要转换注意的是,每秒 20 个请求转换通常会为更多的并发请求。例如,如果您使用crawlbase 爬取亚马逊,平均请求大约需要 4 个,因此每秒 20 个请求会为 80个并发请求。如果您正在爬取的网站响应很快,那么您需要的并发请求就更少。如果您达到并发请求的限制,请 联系支持(在新窗口中) (打开新窗口) 与您的用例一起增加您的相似性。
← 数据裁板 尝试 Crawling API →