将 n8n 连接到 Crawlbase Web MCPAI 抓取工作流

n8n 之所以广受欢迎，在于它让你无需编写大量代码就能自动化真实工作。你在可视化画布上将各类服务连接起来，按计划或事件触发操作，并将它们串联成完整的工作流。再搭配一个能读取实时网页的 MCP 服务器，AI 步骤就不再依赖陈旧的训练数据猜测答案，而是直接基于页面今天的实际内容采取行动。

本指南将手把手带你完成 n8n 与 Crawlbase Web MCP 的端到端连接：运行 Web MCP 服务器、在 n8n 中添加 MCP Client Tool 节点、将其指向服务器，并构建一个小型 AI 工作流来抓取页面并生成摘要。无需自定义爬虫代码，无需维护代理池。完成后，你将拥有一个可运行的循环，AI Agent 能够自主调用抓取工具，并将干净、结构化的输出结果返回给你。

为什么要将 n8n 连接到 MCP 服务器

n8n 中的 AI Agent 能力上限取决于它能访问的数据。它本身可以推理和写作，但无法查看实时的产品页面、竞争对手的定价，或一小时前发布的新闻文章。Model Context Protocol (MCP) 填补了这一空白：它是一种标准接口，让 AI 模型无需为每个工具单独集成即可调用外部工具。运行一个 MCP 服务器，任何支持 MCP 的客户端（包括 n8n）都可以调用该服务器暴露的任何函数。

Crawlbase Web MCP 服务器将抓取功能封装为一组工具。一旦连接成功，你的 n8n AI Agent 就能获取 URL，并取回渲染后的 HTML、干净的 Markdown 或截图，所有请求都经由 Crawlbase 的反封锁基础设施处理。这与介绍 Crawlbase MCP 中阐述的理念一致：在 LLM Agent 与实时网络之间架起一座即插即用的桥梁。

开始前的准备

先将这些准备好，后续设置就会很快：

• n8n 桌面版和 n8n Cloud 均可使用；唯一的区别在于 n8n 如何访问你本地的 MCP 服务器。
• Crawlbase 账号 注册后即可从控制台获取免费 API token。你需要 Normal token 和 JavaScript token 各一个。
• Node.js 在本地运行 Crawlbase Web MCP 服务器所必需。
• ngrok（可选） 仅供 n8n Cloud 用户使用，用于让本地服务器可通过互联网访问。

n8n 如何通过 MCP 与 Crawlbase 通信

你无需编写带有请求头和重试逻辑的 HTTP 集成，只需运行 MCP 服务器并让 n8n 调用它。流程很简洁：

• n8n 中的 MCP Client Tool 节点连接到正在运行的 MCP 服务器。
• Crawlbase Web MCP 服务器暴露实际的抓取函数。
• 你的 AI Agent 选择合适的工具，工作流接收数据，下一步基于数据继续执行。

你完全不需要在 n8n 内部处理 API token，因为 token 保存在你在第 1 步启动的服务器中。n8n 只是调用工具并读取结果。

第 1 步：安装并启动 Crawlbase Web MCP 服务器

服务器是让抓取工具对 n8n 可用的前提，因此必须在 n8n 能看到任何内容之前先启动它。打开终端，下载项目。

git clone https://github.com/crawlbase/crawlbase-mcp
cd crawlbase-mcp
npm install

现在以 HTTP 传输模式启动服务器，将两个 token 作为环境变量传入。将占位符替换为你 Crawlbase 控制台中的实际值。

CRAWLBASE_TOKEN=your_token CRAWLBASE_JS_TOKEN=your_js_token npm run start:http

两个 token 各有用途：

• CRAWLBASE_TOKEN 处理静态页面的标准抓取。
• CRAWLBASE_JS_TOKEN 处理需要 JavaScript 渲染内容的页面，服务器会在返回 HTML 之前启动一个真实浏览器。

如果一切安装正常，服务器将在 http://localhost:3000 启动。保持该终端窗口开启。工作流每次触发时，n8n 都会连接到这个运行中的进程，关闭终端会断开连接。

n8n Cloud 用户的可选步骤：使用 ngrok 暴露服务器

n8n 桌面版与 MCP 服务器运行在同一台机器上，因此可以直接使用 http://localhost:3000，可跳过此步骤。n8n Cloud 运行在 n8n 的服务器上，因此需要一个公网 URL 才能访问你机器上的服务器。ngrok 正是为此创建安全隧道的工具。

ngrok http 3000

ngrok 会打印一个指向本地 3000 端口的公网 HTTPS URL。在 n8n 中使用该 URL 作为端点，而非 localhost。由于这会将你的 MCP 服务器暴露在互联网上，请妥善保管该 URL 和你的 token。

第 2 步：将 n8n 连接到 Crawlbase Web MCP 服务器

打开 n8n，进入你的工作流。在 AI Agent 节点旁边添加一个 MCP Client Tool 节点。该节点使 Agent 能够访问 Crawlbase 的抓取工具。配置如下：

• Endpoint： n8n 桌面版使用 http://localhost:3000，n8n Cloud 使用你的 ngrok HTTPS URL。
• Server Transport： 选择 HTTP Streamable，与你启动时使用的 start:http 模式对应。
• Authentication： 设置为 None；你的 token 已在第 1 步传给服务器，n8n 不需要再持有它们。
• Tools to Include： 选择 All，让 Agent 可以根据任务选择合适的抓取工具。

连接成功后，节点会列出服务器暴露的工具：

{
  "tools": [
    { "name": "crawl", "description": "Crawl a URL and return HTML" },
    { "name": "crawl_markdown", "description": "Extract clean markdown from a URL" },
    { "name": "crawl_screenshot", "description": "Take a screenshot of a webpage" }
  ]
}

看到 crawl、crawl_markdown 和 crawl_screenshot 出现，即表示连接已建立。如果列表为空，说明连接未完成，请参阅下方的故障排查章节了解常见原因。

第 3 步：构建你的第一个 AI 抓取工作流

工具连接好后，构建一个小型工作流来拉取网页并生成摘要。它有两个主要部分：

• 一个 AI Agent 节点，其中已将 MCP Client Tool 连接为工具。
• 一个 Chat Model 节点（OpenAI、Anthropic 或 n8n 支持的任何模型），Agent 用它来推理和生成文本。

在 AI Agent 节点内，给它一个提示词，告诉它要做什么。Agent 读取提示词后，判断需要抓取，调用合适的工具，并将结果传给模型。一个简单的示例：

Crawl https://crawlbase.com/blog and summarize the
latest article in three bullet points.

点击 AI Agent 节点上的 Execute step。片刻后，摘要就会出现在输出中。在后台，Agent 调用了 crawl_markdown，它返回干净的 Markdown，比原始 HTML 更易于模型阅读，然后将该文本传给 Chat Model 生成摘要。打开工作流执行日志，可以看到完整的调用链：抓取请求、服务器返回的 Markdown，以及模型最终的答复。

这就是核心循环。Agent 根据你的提示词决定调用哪个工具，因此如果你要求它"截取"某个页面的截图，它会自动切换到 crawl_screenshot，无需你修改任何节点设置。如果你想深入了解如何让 Agent 选择工具并基于网页数据进行推理，可以参阅 AI 数据提取及其工作原理。

连接故障排查

大多数设置问题归属于几类情况，快速检查通常即可解决：

n8n 无法连接到 MCP 服务器

• 确认服务器仍在其终端窗口中运行且未退出。
• 仔细检查端点：桌面版使用 http://localhost:3000，Cloud 版使用当前的 ngrok HTTPS URL（ngrok 每次重启会生成新 URL）。
• 确保机器上没有其他程序占用 3000 端口。

MCP Client Tool 节点中没有显示任何工具

• 验证 Server Transport 是否设置为 HTTP Streamable，以匹配 start:http 启动模式。
• 在节点中刷新工具列表。
• 如果仍然为空，请重启 MCP 服务器和 n8n，然后重新连接。

Token 或权限错误

• 重新从控制台复制两个 token，排除多余空格或缺少字符的情况。
• 确认账号有足够的额度运行请求。
• 如果 JavaScript 较多的页面返回为空，请确认启动服务器时已设置 CRAWLBASE_JS_TOKEN。

输出为空或显示异常

• 打开执行日志，查看抓取返回的具体内容。
• 先用一个简单的静态 URL 测试，以判断问题出在页面本身还是提示词上。
• 收紧提示词，明确指示 Agent 先抓取再进行总结。

接下来的方向

这个摘要工作流故意设计得很简单，但相同的连接方式可以扩展成真正的自动化任务。几个值得尝试的方向：

• 定期抓取竞争对手的页面，让 n8n 将简短摘要发布到 Slack。
• 追踪多个网站的产品价格，当某个价格变化时触发通知。
• 抓取某一主题的多篇文章，让模型生成综合简报。
• 从目录网站收集公开的商业信息，并将其路由到 CRM 系统。
• 监控关键页面随时间的变化，用于 SEO 或合规工作。

由于 MCP 服务器运行在 Crawlbase 的基础设施后面，抓取中最难的部分（渲染、IP 轮换和绕过封锁）都已为你处理好。如果在棘手的目标上遇到阻碍，如何在不被封锁的情况下抓取网站是实用指南。如果你在权衡托管访问与原始代理的差异，什么是 AI 代理是一篇有价值的参考文章。对于 n8n 之外的重度自定义构建，Crawling API 和 Smart AI Proxy 可以让你直接调用相同的引擎。

这套方案的魅力在于无需代码即可运行：n8n 负责驱动自动化，Crawlbase 负责抓取，MCP 让两者保持同步。Crawlbase 受到超过 70,000 名开发者的信任，因此驱动你工作流的抓取层与支撑生产级爬虫的是同一套系统。

常见问题

什么是 Crawlbase Web MCP 服务器？

它是一个小型服务器，将 Crawlbase 的抓取功能以 Model Context Protocol 工具的形式暴露出来。任何支持 MCP 的客户端，包括 n8n、Claude Desktop 和 Cursor，都可以连接并调用 crawl、crawl_markdown 和 crawl_screenshot 等函数获取实时网页数据，无需自行编写集成代码。

连接 n8n 时需要两个 Crawlbase token 吗？

建议两个都提供，以获得最顺畅的体验。CRAWLBASE_TOKEN 处理静态页面，CRAWLBASE_JS_TOKEN 在真实浏览器中渲染 JavaScript 较多的页面。启动服务器时同时传入两个 token，AI Agent 就可以抓取简单和复杂的页面，无需在工作流中切换任何设置。

n8n 桌面版和 n8n Cloud 在此设置上有何区别？

n8n 桌面版与 MCP 服务器运行在同一台机器上，因此可以直接访问 http://localhost:3000。n8n Cloud 运行在 n8n 的服务器上，因此需要一个公网 URL：使用 ngrok 将本地服务器隧道化，并将该 HTTPS 地址作为端点。

为什么 MCP Client Tool 节点没有显示任何工具？

最常见的原因是传输方式不匹配：确保 Server Transport 设置为 HTTP Streamable，以匹配 start:http 启动模式。同时确认服务器仍在运行、端点正确，且 3000 端口空闲。刷新工具列表或同时重启服务器和 n8n 通常可以解决问题。

使用此方案需要编写代码吗？

不需要。除了几条启动服务器的终端命令之外，整个工作流都在 n8n 中以可视化方式构建。AI Agent 根据你的提示词决定调用哪个抓取工具，因此你只需连接一次节点，之后用普通语言指令驱动一切即可。

AI Agent 能自主选择使用哪个抓取工具吗？

可以。将 Tools to Include 设置为 All 后，Agent 读取你的提示词并选择合适的工具。要求它总结一个页面，它会调用 crawl_markdown；要求截图，它会使用 crawl_screenshot。你通过提示词的措辞来引导选择，而非通过节点设置。

IK

Ian Kalvin

技术支持工程师 · Crawlbase

Crawlbase 技术支持工程师，从生产环境抓取与代理配置中真正出问题的第一线写作。

NZ

Neil Zamora

高级架构师 · Crawlbase

Crawlbase 高级架构师，专注大规模爬取背后的系统：代理轮换、反机器人韧性，以及隐藏这些复杂性的 API。