# 如何准许的?

如果要在代理后面使用刷取API,请参考文档 智能代理(打开新窗口) (打开新窗口) 如果您不想购买智能代理订阅,或者您希望不受限制地使用 Crawling API 的所有功能和更高的限制限制,请继续阅读以下段落。

代理模式调用中的所有抓取API 都应转至 http://smartproxy.crawlbase.com 和端口 8000 使用文档内容的访问作为用户名的注意,此处使用的代理端口与智能代理使用的端口,请确保使用正确的端口中不同的端口,请智能代理保持中的其他所有内容都保持不变。 。

因此,您的第一个电话就像在终端中运行以下一样简单。

curl -x "http://[email protected]:8000" -k "http://httpbin.org/ip"

要 JavaScript (无头浏览器)而不是普通请求,请继续请求在终端试用以下操作:

curl -x "http://[email protected]:8000" -k "http://httpbin.org/ip"

# 速度限制

默认情况下,代理模式下的爬虫 API 的速率限制为每秒 20 个请求(1.728M 请求/天)。如果您的代理管理解决方案使用并发请求/线程而不是每秒请求,请务必注意每秒20 个请求通常会转换为更多并发请求。例如,如果您使用crawlbase 爬取亚马逊,平均请求大约需要 4 秒,因此每秒 20 个请求转换为 80 个并发请求。如果您正在抓取的网站响应速度很快,那么您需要最少的并发请求。如果您达到并发请求的限制,请 联系支持(在新窗口中) (打开新窗口) 与您的用例一起增加您的相似性。