爬虫常见问题

默认情况下，从第一次开始处理请求起，请求会在 110 小时内重试 48 次。

如果成功或失败，您总会收到回调，请查看 pc_status 和 original_status 了解状态码。

如果您的 Crawler 回调已关闭，您会收到电子邮件通知，您的搜寻器会暂停，并且您的最后一个由于端点停机而失败的请求将被设置为重试。 当您的端点自动可用时，您的爬虫将恢复。 我们的监控系统每分钟检查一次您的端点。

“等待”意味着您的请求在您的爬虫队列中等待处理。 “并发爬虫”是同时被爬取的请求。 如果您有很多页面要抓取，我们的系统会增加并发爬虫，我们还会监控爬虫并根据池增加或减少并发。 “要重试的集合”是您的请求因任何原因失败，它们进入您的爬虫重试队列并以重试率处理，直到最多重试 110 次。

您可以从 Crawlbase 帐户文档页面获取 API 密钥或请求令牌。

https://crawlbase.com/dashboard/account/docs

每秒 30 个 URL 的限制适用于 LinkedIn 爬网。 对于其他网站，我们可以根据具体情况评估并可能提高限制。 请 立即联系我们 讨论您的具体需求。