爬虫常见问题

默认情况下，从第一次开始处理请求起，请求会在 110 小时内重试 48 次。

如果成功或失败，您总会收到回调，请查看 pc_status 和 original_status 了解状态码。

如果您的 Crawler 回调已关闭，您会收到电子邮件通知，您的搜寻器会暂停，并且您的最后一个由于端点停机而失败的请求将被设置为重试。 当您的端点自动可用时，您的爬虫将恢复。 我们的监控系统每分钟检查一次您的端点。

“等待”意味着您的请求在您的爬虫队列中等待处理。 “并发爬虫”是同时被爬取的请求。 如果您有很多页面要抓取，我们的系统会增加并发爬虫，我们还会监控爬虫并根据池增加或减少并发。 “要重试的集合”是您的请求因任何原因失败，它们进入您的爬虫重试队列并以重试率处理，直到最多重试 110 次。

您可以在 Normal Request Tokens 或 Javascript Request Tokens 中使用 API Key。

https://crawlbase.com/dashboard/account/docs

对于 LinkedIn 爬网，限制为每秒 30 次推送。 但对于其他网址，我们可以根据具体情况增加限制