问题与解答

Crawlbase 常见问题

关于抓取、采集、代理和存储的直接解答。搜索知识库或在下方按产品浏览。

热门常见问题

使用 Crawling API 需要会编程吗?

Crawling API

目前使用 Crawlbase 的唯一方式是将其集成到你的产品或服务中,因此你需要懂开发,或者认识/付费给能帮助你的人。

请注意,我们提供了一些非常易于集成的

Was this helpful?

我在哪里可以获取 API 密钥?

Enterprise Crawler

你可以从 Crawlbase 账户文档页面获取 API 密钥或请求令牌。

https://crawlbase.com/dashboard/account/docs

Was this helpful?

请求会被重试多少次?

Enterprise Crawler

默认情况下,从请求首次开始处理起,会在 48 小时内重试 110 次。

Was this helpful?

大规模抓取时,能否提高每秒 30 个 URL 的限制?

Enterprise Crawler

每秒 30 个 URL 的限制适用于 LinkedIn 抓取。对于其他网站,我们可以逐案评估并可能提高该限制。请 联系我们 以讨论你的具体需求。

Was this helpful?

可以更改我的账户电子邮件地址吗?

常规

可以,你能够更改账户电子邮件地址。为此,请访问 账户页面,并查找 "Change email address" 选项。更新电子邮件地址后,你会在新地址收到一封确认邮件。请按照邮件中的说明确认此更改。

Was this helpful?

Smart AI Proxy 可以与 HTTPS 一起使用吗?

Smart AI Proxy

可以,Smart AI Proxy 可用于 HTTPS 网站,但与代理的连接必须使用 http 完成。因此,在连接代理时请使用 http://smartproxy.crawlbase.com,而不是 https://smartproxy.crawlbase.com

你使用 Smart AI Proxy 发送到任何网站的所有 HTTPS 流量都将继续被安全传输,我们无法以任何方式访问它。

Was this helpful?

你们出售代理列表吗?

Crawling API

我们希望提供的不仅仅是一个或多个代理列表,因此我们的 API 和 Crawler 产品构建于全球数千个住宅代理和数据中心代理之上,并结合人工智能以及我们的工程团队,帮助交付尽可能好的数据结果。如果你只需要代理,而不想获得其他任何优势,我们建议你使用 Smart Proxy

Was this helpful?

我可以将免费请求用于 JavaScript 吗?

Crawling API

可以,你能够将免费请求用于 JavaScript 或普通请求。

Was this helpful?

我仍然被封锁或遇到验证码

Crawling API

我们尽力支持每一个网站。请 联系我们,看看我们能如何帮助你。

Was this helpful?

实时监控的措辞

Enterprise Crawler

"Waiting"(等待)表示你的请求正在爬虫队列中等待处理。 "Concurrent crawlers"(并发爬虫)是指同时被抓取的请求。如果你有很多页面需要抓取,我们的系统会增加并发爬虫的数量,我们还会监控爬虫,并根据代理池的情况增加或减少并发数。 "Sets to be retried"(待重试集)是指因任何原因失败的请求,它们会进入你的爬虫重试队列,并以一定的重试速率处理,最多重试 110 次。

Was this helpful?

Still have a question?

Our team answers scraping and infrastructure questions every day. Reach out and we will help you find the right setup.

Contact us

Start crawling and scraping the web today

Try it free. No credit card required. Instant setup.