爬虫常见问题

默认情况下，从第一次开始处理请求起，请求会在 110 小时内重试 48 次。

如果成功或失败，您总会收到回调，请查看 pc_status 和 original_status 了解状态码。

如果你的 Crawler 回调中断，您将收到电子邮件通知，您的爬虫程序将暂停，并且由于端点停机而导致的上次失败请求将重试。当您的端点自动可用时，您的爬虫程序将恢复。我们的监控系统每分钟检查一次您的端点。

“等待”意味着您的请求在您的爬虫队列中等待处理。 “并发爬虫”是同时被爬取的请求。 如果您有很多页面要抓取，我们的系统会增加并发爬虫，我们还会监控爬虫并根据池增加或减少并发。 “要重试的集合”是您的请求因任何原因失败，它们进入您的爬虫重试队列并以重试率处理，直到最多重试 110 次。

您可以从 Crawlbase 帐户文档页面获取 API 密钥或请求令牌。

https://crawlbase.com/dashboard/account/docs

每秒 30 个 URL 的限制适用于 LinkedIn 爬网。 对于其他网站，我们可以根据具体情况评估并可能提高限制。 请 联系我们 讨论您的具体需求。