# 如何运作的?

如果要在代理后面使用爬取API,请参考文档 Smart Proxy (打开新窗口) 产品。如果您不想购买 Smart Proxy 订阅或您想使用所有功能 Crawling API 没有限制和更高的速率限制,那么请继续阅读下一段。

全部 Crawling API 在代理模式下调用应该转到 http://smartproxy.crawlbase.com 和端口 8000 使用您的访问令牌作为代理用户名。请注意,此处使用的端口与 Smart Proxy,因此请确保使用正确的端口, Smart Proxy 文档保持不变。

因此,拨打您的第一个电话就像在终端中运行以下行一样简单。 继续尝试!

curl -x "http://[email protected]:8000" -k "http://httpbin.org/ip"

要执行 JavaScript 请求(无头浏览器)而不是普通请求,请继续在终端中尝试以下操作:

curl -x "http://[email protected]:8000" -k "http://httpbin.org/ip"

# 速率限制

默认情况下 Crawling API 代理模式下的速率限制为每秒 20 个请求(每天 1.728M 个请求)。如果您的代理管理解决方案使用的是并发请求/线程而不是每秒请求,则需要注意的是,每秒 20 个请求通常会转换为更多的并发请求。例如,如果您使用 crawlbase 爬取亚马逊,平均请求需要大约 4 秒,因此每秒 20 个请求会转换为 80 个并发线程。如果您正在爬取的网站响应很快,那么您需要的并发请求就更少。如果您达到并发请求的限制,请 联系支持 (打开新窗口) 与您的用例一起增加您的并发性。