User Agents API
免费的限速端点,返回针对网页爬取优化的随机 User-Agent 字符串。当您在 Crawlbase 流水线之外运行自己的爬虫时使用。
无论您使用哪种 Crawlbase 套餐,User Agents API 都完全免费使用。限速为每秒 1 个请求。
概述
返回针对网页爬取优化的随机 User-Agent 字符串。选择逻辑倾向于在生产流量中看起来自然的 UA —— 涵盖桌面和移动端的现代 Chrome、Firefox 和 Safari 版本,并按真实世界的使用情况加权。
端点:https://api.crawlbase.com/user_agents
快速开始
curl 'https://api.crawlbase.com/user_agents?token=YOUR_TOKEN'返回一个 User-Agent 字符串。直接用于您出站 HTTP 请求的 User-Agent 头中即可。
参数
device 配合使用以预先过滤,然后在客户端缓存这批 UA 并在本地轮换 —— 这样既更快,又能避免每秒 1 个请求的限速。速率限制
每秒 1 个请求。在客户端缓存 UA 字符串并自行轮换,而不是在每个请求时都调用 —— 这样既更快,又能避免触发限制。
何时使用
只有当您针对不经过 Crawlbase 的网站运行自己的爬虫时才需要使用它。Crawling API 和 Smart AI Proxy 已经自动处理 UA 随机化 —— 通过它们发送请求时无需设置 User-Agent。

