登录

AI & MCP

将 Crawlbase 接入您的 AI 代理技术栈。MCP 服务器为任何兼容 MCP 的客户端（Claude Desktop、Cursor、VS Code、OpenAI 的 Codex 代理）提供对网络的实时、结构化访问 - 没有它，任何模型都无法浏览网页；有了它，模型就能按需爬取、抓取任意 URL 并对其截图。

什么是 MCP

MCP（Model Context Protocol）是 Anthropic 推出的一项开放规范，用于将 AI 助手连接到外部工具和数据。MCP 服务器暴露一组命名工具（例如 crawl_url、crawl_markdown、crawl_screenshot），任何支持 MCP 的客户端都可以发现并调用它们。Crawlbase MCP 服务器为您的代理提供与 Crawling API 相同的爬取 + 抓取能力 - 以代理可调用工具的形式暴露，而非 REST 端点。

从这里开始

  • ai-mcp - MCP 服务器参考。安装步骤、暴露的工具（含输入/输出 schema）、客户端配置、环境变量、安全说明。本节中最详尽的页面 - 请先阅读。

在您的客户端中使用

针对已支持 MCP 的 IDE 和代理的逐客户端配置指南：

  • ai-claude - Claude Desktop 与 Claude Code。在您的设置中粘贴一段 JSON 即可；Claude 就能爬取您在对话中引用的 URL。
  • ai-cursor - Cursor。MCP 服务器以代理可在对话中途调用的工具形式出现。
  • ai-vscode - VS Code（搭配 Continue、Claude Code 或任何支持 MCP 的扩展）。
  • ai-codex new - OpenAI Codex 代理。将 Crawlbase 添加为已连接的工具。
  • ai-opencode new - OpenCode 终端代理。原生 MCP 客户端（本地 + 远程，支持 OAuth） - 将 Crawlbase 工具直接接入 shell 内的编码循环。

提示词模式

  • ai-prompts - 指导模型有效使用 Crawlbase 工具的实战配方。RAG 检索、对比流程、多步骤研究、基于截图的推理 - 每种场景都有经过验证的提示词模板。

为什么通过 Crawlbase 路由 AI

大多数 LLM 客户端根本无法浏览实时网络；少数能做到的（搜索增强型对话、使用浏览器的代理）也会撞上与人类爬虫相同的墙 - JS 重度依赖的 SPA、反爬挑战、地域限制内容、速率限制。MCP 服务器为代理提供了一个已经解决了这些问题的工具：Crawlbase 的每项功能（住宅代理、JS 渲染、反爬绕过、地域路由，以及抓取器库）都可从代理调用，且无需让模型接触任何实现细节。

如果您正在打造一款代理产品，这是为它提供真实世界网络访问能力最便宜的方式，无需自己编写浏览器自动化层。