api.crawlbase.com
200 OK
GET
https://www.nytimes.com/2026/03/article&format=md
01
调用 api.crawlbase.com/?url=nytimes.com&format=md
02
通过美国住宅 IP 路由
03
抓取文章 · 正文提取
04
将 HTML → 转换为干净的 Markdown
05
交付 4.2 KB 的 Markdown
article.md
1
2
3
4
5
6
7
8
9
10
11
12
13
14
# 2026 年 AI 基础设施现状
数据工程团队已经从批量 ETL 转向 **streaming-first** 流水线。Crawlbase 报告 MCP 相关流量 **同比增长 42%**。
## 关键要点
- 住宅代理仍是电商数据的 *默认选择*。
- 异步与存储现已支撑 67% 的抓取任务。
- 面向 LLM 的输出（Markdown、JSON）以 3× 的幅度超过原始 HTML。
## 引用
> "我们在一个周末内把 1400 万个 URL
> 迁移到了 Crawlbase。" 某 B 轮金融科技公司工程负责人
常见问题
你想知道的一切
如果这里没有你的问题，可以联系 我们的团队，他们回复很快。
Crawlbase 是什么？
Crawlbase 是面向开发者、企业和大模型的网页数据基础设施。一个账号和一个 token 即可使用 Crawling API、异步的 Enterprise Crawler、 Smart AI Proxy、 Cloud Storage 以及面向 AI 智能体的 Web MCP，内置住宅代理、JavaScript 渲染与反爬处理。查看 完整文档。
开始使用需要信用卡吗？
不需要。每个新账号都可获得最多 10,000 次免费的成功请求，无需信用卡，你可以先测试所有输出格式（HTML、JSON、Markdown 和截图）。只有在需要更大用量时才需要绑定卡片；按用量计费的套餐见 价格页面。
支持哪些语言和 SDK？
API 就是普通的 HTTP，因此任何能发起请求的语言都可以使用。我们提供官方 SDK： Python、 Node、 Ruby、 PHP 和 Go，另外还有社区维护的更多语言库。查看 全部库。
请求失败会怎样？
你只需为成功的请求付费。遇到软失败时，Crawling API 会自动换用不同的代理和请求头重试，只有成功的请求才会计入配额：超时、被封和目标站点的 5xx 错误都不计费，所以重试是安全的。详见 Crawling API 文档。
可以把请求定位到特定国家吗？
可以。加上 country 参数并填写两位 ISO 国家代码（例如 country=US 或 country=DE），请求就会通过该地区的住宅出口节点发出，覆盖二十多个国家。Crawlbase 也可能自动为特定站点挑选最佳代理，以保持较高的成功率。country 参数详见 Crawling API 文档。