大型语言模型 (LLM)，例如 Claude、ChatGPT 等，在生成文本、回答问题和模拟智能行为方面表现出色。然而，当处理来自网络的实时数据时，它们却显得力不从心，导致开发人员陷入以下困境：

  • 手动将抓取/爬取的结果粘贴到提示中
  • 因缺失或过时的背景而产生的幻觉
  • 代码编辑器在没有运行时感知的情况下提出修复建议
  • 数据更新时中断的代理

为什么？因为法学硕士（LLM）从根本上就与现实网络脱节了。

此 Crawlbase 网上 MCP Server 是人工智能与现实世界数据之间缺失的一环。它使您的人工智能工具和自主代理能够安全可靠地获取、解析和处理实时网络信息。

您将在本指南中学习到什么

  • 如何整合 Crawlbase 网上 MCP Server 使用 Claude Desktop、Cursor 和 Windsurf 等工具。

LLM瓶颈：AI代理为何难以处理实时Web数据

从 Claude 到 ChatGPT，每个法学硕士项目的核心都是一个庞大的静态训练数据集。这意味着，虽然这些模型可以 原因, 响应和 预测, 他们不能 观察.他们无法实时了解周围不断变化的世界。

那是因为：

  • 法学硕士是 不是浏览器
  • 他们经营 安全的沙盒环境 限制出站网络访问。
  • 他们的知识是 及时冻结并且更新仅在偶尔的再训练期间发生。

模型上下文协议 (MCP) 为何重要

为了解决这种脱节，您可以利用模型上下文协议 (MCP)，这是一种标准化方法，可以使 AI 模型和外部工具有效地通信。

可以将其想象为 AI 的 USB。

正如 USB 可以轻松地将任何设备插入任何计算机一样，MCP 也使 AI 代理可以轻松地与任何工具或数据源（包括实时网络源）集成。

MCP 为 LLM 定义了一个一致的接口，用于从外部系统请求和检索上下文，这就是 Crawlbase 网上 MCP Server 用武之地。

MCP 如何解锁实时 Web 访问

通过 MCP 协议， Crawlbase 服务器成为 AI 模型与实时 Web 内容之间的即插即用桥梁。Claude Desktop、Cursor 和 Windsurf 等 AI 工具现在可以：

  • 请求 URL 或搜索查询
  • 获取实时、结构化的网络数据
  • 将数据重新注入模型的上下文窗口以进行推理和响应

什么是 Crawlbase 网上 MCP Server?

此 Crawlbase Web 模型上下文协议 (MCP) 服务器 是 LLM 代理和实时网络之间的连接组织。

建立在 Crawlbase久经考验的抓取基础架构（超过 70,000 万名开发者使用），使 Claude Desktop、Cursor 和 Windsurf 等 AI 工具能够直接利用最新的结构化网络数据，而不会遇到阻塞、速率限制或幻觉。它可直接接入支持模型上下文协议 (MCP) 的工具，并处理：

  • 实时网页抓取
  • JavaScript 渲染
  • 代理轮换和反机器人规避
  • 结构化输出，实现 LLM 无缝集成

如何开始 Crawlbase 网上 MCP Server

此 Crawlbase 网上 MCP Server 它可作为您获取实时智能的平台，助力您开发人工智能代理、简化研究流程并提高生产力。以下是入门指南：

第1步：获取您的 Crawlbase 令牌

首先，使用 Crawlbase 添加信用卡后即可免费获得前 1,000 个请求，并额外获得 9,000 个请求。 立即免费注册，去你的 账户文件，并保存一份 Crawling API 普通和 JavaScript 令牌。

第 2 步：整合 Crawlbase 网上 MCP Server 用于人工智能网络爬虫

浏览 GitHub上 Crawlbase 存储库页面。您可以找到 Crawlbase 网上 MCP Server 点击此处。

运行上下文命令

这些是特殊的 Crawlbase 安装 MCP 服务器后，您可以使用这些命令以不同的方式获取和处理 Web 内容，以便在 LLM 环境中使用。

  • crawl - 抓取 URL 并返回 HTML
  • crawl_markdown - 从 URL 中提取干净的 markdown
  • crawl_screenshot - 截取网页屏幕截图

Crawlbase Claude Desktop 中的 Web MCP 设置

第三步： 打开 Claude Desktop → 文件 → 设置 → 开发者 → 编辑配置

第三步： 复制 Crawlbase Web MCP，然后将其粘贴到 claude_desktop_config.json 文件

1
2
3
4
5
6
7
8
9
10
11
12
13
{
  “mcp服务器”: {
    “爬行基地”: {
      “类型”: “标准”,
      “命令”: “npx”,
      “参数”: [“@crawlbase/mcp@latest”],
      “环境”: {
        “CRAWLBASE_TOKEN”: “你的令牌在这里”,
        “CRAWLBASE_JS_TOKEN”: “你的 js 令牌在这里”
      }
    }
  }
}

一定要更换 your_token_here 以及 your_js_token_here 和你的实际 Crawlbase 配置文件中的令牌。

第三步： 保存配置文件并重新启动 Claude Desktop。

如果您返回设置， Crawlbase Web MCP 将出现在本地 MCP 服务器下。

第三步： 利用 MCP

您现在可以使用了 Crawlbase Web MCP。首先，只需输入如下提示：

“爬 纽约时报和回归 降价“。

如果出现使用确认对话框 Crawlbase Web MCP 出现，请务必 授予许可 提示时。

克劳德用 markdown 格式的输出进行回复。

Crawlbase Cursor IDE 中的 Web MCP 设置

第三步： 打开 Cursor IDE → 文件 → 首选项 → 光标设置 → 工具和集成 → 添加自定义 MCP

第三步： 复制 Crawlbase Web MCP，然后将其粘贴到 mcp.json 文件

1
2
3
4
5
6
7
8
9
10
11
12
13
{
  “mcp服务器”: {
    “爬行基地”: {
      “类型”: “标准”,
      “命令”: “npx”,
      “参数”: [“@crawlbase/mcp@latest”],
      “环境”: {
        “CRAWLBASE_TOKEN”: “你的令牌在这里”,
        “CRAWLBASE_JS_TOKEN”: “你的 js 令牌在这里”
      }
    }
  }
}

第三步： 一旦配置文件被保存，指示器将确认 Crawlbase Web MCP 处于活动状态。

注意： 如果保存文件后没有看到此指示器，请重新启动 Cursor。

第三步： 利用聊天窗口向 Crawlbase Web MCP。

您已准备好开始使用 Crawlbase Web MCP。请尝试输入如下内容：

“爬 纽约时报并保存为 降价=

您可能会看到一个确认按钮 - 只需单击它即可继续。

以下是提示生成的结果。如图所示，Cursor 创建了一个 Markdown 文件并将输出保存到其中。

正如你所见，Cursor 将实时抓取任务委托给 Crawlbase Web MCP 服务器。

Crawlbase WindSurf 中的 Web MCP 设置

第三步： 打开 WindSurf IDE → 文件 → 首选项 → WindSurf 设置 → 常规 → MCP Servers → 管理 MCP → 查看原始配置

第三步： 复制 Crawlbase Web MCP，然后将其粘贴到 mcp_config.json 文件

1
2
3
4
5
6
7
8
9
10
11
12
13
{
  “mcp服务器”: {
    “爬行基地”: {
      “类型”: “标准”,
      “命令”: “npx”,
      “参数”: [“@crawlbase/mcp@latest”],
      “环境”: {
        “CRAWLBASE_TOKEN”: “你的令牌在这里”,
        “CRAWLBASE_JS_TOKEN”: “你的 js 令牌在这里”
      }
    }
  }
}

一定要更换 your_token_here 以及 your_js_token_here 和你的实际 Crawlbase 配置文件中的令牌。

第三步： 保存配置文件并点击刷新

此 Crawlbase Web MCP 应该出现在 MCP 服务器列表中。

第三步： 使用聊天窗口发送命令给 Crawlbase Web MCP。

现在一切都已设置完毕，我们将使用与以前相同的提示：

“爬 纽约时报并保存为 降价=

这是提示产生的结果 - Windsurf 生成了一个 markdown 文件并保存了结果。

正如再次展示的那样，Windsurf 将实时爬行交给 Crawlbase Web MCP 服务器。

就是这样，现在您的 LLM 能够浏览和搜索互联网而不会被阻止。

不要让您的座席盲目工作。让他们能够查看、学习并利用实时数据做出响应。 注册 Crawlbase 今天就开始构建真正与世界相连的人工智能。