Crawler 常见问题

请求会被重试多少次？

Enterprise Crawler

默认情况下，从请求首次开始处理起，会在 48 小时内重试 110 次。

Was this helpful?

如果发生永久性失败会怎样？

Enterprise Crawler

无论成功还是失败，你都会始终收到回调，请检查 cb_status 和 original_status 以了解状态码。

Was this helpful?

如果我的 webhook 端点宕机了怎么办？

Enterprise Crawler

如果你的 Crawler 回调宕机，你会通过电子邮件收到通知，你的爬虫会被暂停，而你因端点宕机而失败的最后一个请求会被设置为重试。当你的端点自动恢复可用时，你的爬虫会恢复运行。 我们的监控系统每分钟都会检查你的端点。

Was this helpful?

实时监控的措辞

Enterprise Crawler

"Waiting"（等待）表示你的请求正在爬虫队列中等待处理。 "Concurrent crawlers"（并发爬虫）是指同时被抓取的请求。如果你有很多页面需要抓取，我们的系统会增加并发爬虫的数量，我们还会监控爬虫，并根据代理池的情况增加或减少并发数。 "Sets to be retried"（待重试集）是指因任何原因失败的请求，它们会进入你的爬虫重试队列，并以一定的重试速率处理，最多重试 110 次。

Was this helpful?

我在哪里可以获取 API 密钥？

Enterprise Crawler

你可以从 Crawlbase 账户文档页面获取 API 密钥或请求令牌。

https://crawlbase.com/dashboard/account/docs

Was this helpful?

大规模抓取时，能否提高每秒 30 个 URL 的限制？

Enterprise Crawler

每秒 30 个 URL 的限制适用于 LinkedIn 抓取。对于其他网站，我们可以逐案评估并可能提高该限制。请 联系我们 以讨论你的具体需求。

Was this helpful?

Still have a question?

Our team answers scraping and infrastructure questions every day. Reach out and we will help you find the right setup.

Contact us

Start crawling and scraping the web today

Try it free. No credit card required. Instant setup.

Create free accountRead the docs