登录

n8n

开源自动化，部署在您自己的服务器上。Crawlbase n8n 社区节点让您在自托管工作流中使用相同的 API，无 SaaS 锁定。

安装

Crawlbase 节点以社区节点的形式发布。请在您的 n8n 实例中安装：

  1. 前往 Settings → Community Nodes → Install a community node。
  2. 输入 n8n-nodes-crawlbase 并点击 Install。
  3. 如有提示，请重启 n8n。Crawlbase 节点随后会出现在画布搜索中。

凭据

在 Settings → Credentials 中添加 Crawlbase API 凭据：

  1. 从 Crawlbase dashboard 粘贴您的 API Token。
  2. 点击 Test connection 以在运行工作流之前确认 token 有效。

对 HTML 目标使用您的 Normal Token，对 SPA 和 JS 渲染页面使用您的 JavaScript Token - 为每个 token 层级创建一个凭据，并在每个节点中选择合适的凭据。

Crawlbase 节点

单个 Crawlbase 节点即封装了 Crawling API。将其拖入工作流，绑定凭据，然后配置下方的请求字段。

Method
字段
GET、POST 或 PUT。当目标需要请求 body 时使用 POST/PUT。
Response format
字段
HTML（默认）、JSON（解析后的 scraper 输出），或 Markdown（适用于 LLM 流水线的纯净文本）。
Options
字段
可选的 Crawling API 参数 - page_wait、country、device、request_headers、cookies、scraper、screenshot、store、async 以及 JS 渲染辅助参数。完整列表请参阅 Crawling API parameters 参考文档。
Output
字段
每个 item 返回 statusCode、headers、body 和 metadata（包含 originalStatus、cbStatus 以及解析后的 url）。

Item-list 模式

将 URL Source 设置为 From input item field，并指定携带 URL 的字段名（例如 url）。该节点会为每个输入项执行一次 Crawling API 请求，并为每个输入项输出一项 - 可直接接入 Read-from-Sheet、Split-In-Batches 或任何生成列表的节点。

速率限制与重试

Crawlbase 的速率限制取决于您的套餐。为保持工作流的健壮性：

  • 在 Crawlbase 节点上启用 n8n 的 Retry On Fail（节点的 Settings 标签页）。
  • 将 Wait Between Tries 设置为至少 1 秒 - 如遇到限制可设置更高。
  • 对于较长的 URL 列表，请使用 Loop Over Items 或 Split In Batches 分批处理，而不要一次性发起所有请求。

常见工作流

  • Schedule → Crawlbase → Postgres：每日将竞争对手的定价页面快照存入数据库。
  • Webhook → Crawlbase → Email：按需进行产品信息扩充。
  • RSS → Crawlbase → Vector DB：填充自托管的检索索引。