更新日志
Crawlbase API、SDKs 和集成的近期发布。源代码仓库位于 github.com/crawlbase。
2026 年 9 月
2026-09-15 · 控制台：查看者角色
2026-09-06 · Crawlbase Cookbook
- Crawlbase Cookbook 已上线：为客户抓取的 356 个网站各提供一个页面，开头是基于 Crawlbase 真实流量测得的数据，例如成功率、是否需要浏览器以及每页消耗的额度。可以通过搜索、筛选或 26 个分类页查找网站，参考 Sephora、idealo 等分步食谱，并了解我们的统计方法。
2026-09-06 · Playground：一个 key 即可渲染 JavaScript
- 控制台 Playground 和文档 Playground 中的代码示例，在需要渲染的请求里改用普通 key 加
javascript=true，不再使用 JavaScript key。API 会在抓取前切换到你的 JavaScript key，因此一个 key 就够用，请求按 JavaScript 请求计费。参见 JavaScript 参数。
2026-09-06 · 控制台：银行卡到期与付款失败提醒
- 账单页面会显示已绑定的银行卡及其有效期。到期前 60 天内提示变为黄色，过期后变为红色，方便你在下次扣款前更新。如果银行卡付款失败并正在重试，控制台会显示付款失败横幅，列出金额并附上更新付款方式的链接。
2026-09-05 · 控制台：以美元显示超额费用
2026-09-05 · 控制台：抓取器目录
- 抓取器页面以卡片形式列出每个抓取器，附简短说明、文档链接和在演练场中试用按钮。可按名称或分类筛选。
2026-09-01 · 控制台：完整的发票历史
- 账单页面的发票列表现在覆盖全部历史记录，支持分页并可导出为 CSV。每张发票下载的都是当初发送给你的原始文件。
2026 年 8 月
2026-08-25 · 控制台：退出组织、变更所有者
- 在设置 > 团队中，成员现在可以自行退出组织，所有者点击成员的角色即可将其设为所有者，或将所有者改为成员。最后一位所有者无法被移除。如果你在已有自己订阅的情况下接受工作区邀请，控制台会先说明你的订阅仍在你自己的组织下计费。
2026-08-25 · LangChain 文档：源码与包链接
- LangChain 集成页面现已链接到 GitHub 上的源码和 PyPI 上的包，安装
langchain-crawlbase前可以先核对。
2026-08-22 · 控制台：爬虫搜索与实时面板
- 爬虫页面新增搜索框，输入时即按名称匹配，并提供全部、运行中、已暂停筛选；因余额不足而暂停的爬虫算作已暂停。每个爬虫的实时标签页每 5 秒刷新一次，显示排队中和执行中的任务以及最长等待时间。
2026-08-22 · 控制台：按计费周期查看用量，附超额计算器
- 用量页面现在默认打开本周期：即你套餐的计费周期，无套餐时为本自然月至今，因此合计与账单一致。订阅账户会先看到已用的套餐额度，预测滑块则作为超额计算器，显示哪些用量在套餐范围内、超出部分需要多少费用。
2026-08-21 · 控制台：归档工作区，按工作区查看用量
2026-08-20 · 控制台：更易读的存储预览
- 存储预览现已格式化：JSON 内容（包括抓取器输出和
format=json结果）带缩进显示，HTML 页面按每行一个标签展示，不再是一整行。存储的数据本身不变。
2026-08-19 · 控制台：取消或保留套餐
- 账单所有者可以在账单页面取消自助套餐。套餐在本周期结束前仍然有效，到期后不再续费。在此之前会显示结束日期，点击保留套餐即可撤销取消。
2026-08-14 · 全新控制台
- 仪表盘已重建为控制台。请求是可搜索的 API 调用日志，支持按状态筛选、查看每个请求的详情并导出 CSV。用量按产品、档位和域名拆分额度。此外还包括：存储、带投递日志和重试的爬虫、演练场、支持工单、设置，以及含发票和银行卡付款的账单。工作区可按团队或项目拆分 key 和用量。
2026-08-11 · 代理模式已下线
- Crawling API 不再支持以 HTTP 代理方式调用。代理模式的监听端已下线，其参考章节也已从本文档中移除。Smart AI Proxy 仍是提供代理接口的产品，覆盖同样的能力，并拥有各自独立的订阅与并发模型。对 Crawling API 的 REST 调用不受影响。
2026-08-08 · Crawling API：异步支持所有域名
async=true现在可用于任何目标。此前它仅接受linkedin.com的 URL，其他域名需按 token 申请开通。调用会立即返回rid，完成的页面会投递到您的callbackwebhook，或被保存下来，稍后凭同一个rid从 Cloud Storage 取回。参见 异步与存储。
2026-08-07 · 新增抓取器：LeetCode
- 为 LeetCode 新增四个抓取器，归入开发者与技术类别 - LeetCode Problem Set（将题库列表页作为数组返回，包含编号、难度、通过率和会员标记）、LeetCode Problem（单个题目及其题面、主题标签、提示和初始代码模板）、LeetCode Solutions（将社区题解列表页作为数组返回，包含作者、标签和互动数据）和 LeetCode Solution（单个题解及其正文和提取出的代码块）。
2026 年 7 月
2026-07-29 · 新增抓取器：Kaggle
- 为 Kaggle 新增四个抓取器，归入开发者与技术类别 - Kaggle Dataset Search（将数据集搜索或列表页作为带所有者、大小、可用性评分和下载量的排序数组）、Kaggle Dataset（单个数据集及其描述、关键词、许可证和文件列表）、Kaggle Notebook Search（将 notebook 搜索或列表页作为带作者、共同作者和竞赛上下文的排序数组）和 Kaggle Notebook（单个 notebook 及其语言、运行时长、版本历史和关联的输入）。
2026-07-24 · 新增抓取器：OLX
- 为 OLX 分类信息新增两个抓取器，归入电子商务类别，覆盖共享前端（olx.pl、olx.ua、olx.pt、olx.ro、olx.bg、olx.kz、olx.uz） - OLX SERP（将搜索或类别结果页作为带分页的排序信息数组，包含价格与位置）和 OLX Item（单条广告及其完整属性、价格、卖家和图片）。
2026-07-22 · 新增抓取器：Exercism
- 为 Exercism 新增四个抓取器，归入开发者与技术类别 - Exercism 练习列表（将某语言轨道的练习页作为带难度和解锁状态的结构化数组）、Exercism 练习（单个练习及其以文本和 HTML 呈现的完整说明）、Exercism 解决方案列表（将某练习的社区解决方案页作为带作者、语言和星标数的分页数组）和 Exercism 解决方案（单个已发布解决方案及其迭代历史和完整源代码）。
2026-07-20 · 新增抓取器：Stack Exchange
- 为 Stack Exchange 网络（Stack Overflow、Super User、Ask Ubuntu、Server Fault、MathOverflow 以及所有
*.stackexchange.com站点）新增两个抓取器，归入评论与问答类别 - Stack Exchange Questions（将问题、标签或搜索结果页作为带分页的结构化数组）和 Stack Exchange Thread（单个问题及其完整的回答与评论线程）。
2026-07-16 · 新增抓取器：Booking.com
- 为 Booking.com 新增两个抓取器，归入旅游、活动与房产类别 - Booking SERP（将搜索结果页作为带分页的结构化房源数组，包含价格与评论分数）和 Booking Hotel（单个酒店页面：价格、评论分数以及设施）。
2026-07-16 · 新增抓取器：Product Hunt
- 为 Product Hunt 新增两个抓取器，归入评论与问答类别 - Product Hunt Leaderboard（将每日和每周排行榜作为有序的产品数组）和 Product Hunt Product（单个产品页面：点赞、创建者、话题和评论）。
2026-07-15 · 新增抓取器：Reddit
- 为 Reddit 新增三个抓取器，归入社交媒体类别 - Reddit Subreddit（将子版块列表作为带分页的有序帖子数组）、Reddit Search（将 Reddit 搜索结果页作为带分页的结构化数组）和 Reddit Post（带完整评论树的单条帖子）。
2026-07-14 · 新增抓取器：GitHub
- 为 GitHub 新增三个抓取器，归入新的开发者类别 - GitHub Repository（单个仓库页面：stars、forks、watchers、语言、主题、许可证、未关闭的 issues 和 PRs、默认分支以及最新版本）、GitHub SERP（将仓库搜索结果页作为带分页的结构化数组）和 GitHub Profile（用户或组织资料页：bio、followers、following、public repos、pinned repos 和 organizations）。
2026 年 6 月
2026-06-30 · 新增抓取器：Google Trends
- 为 Google Trends 新增两个抓取器 - Google Trends（"Trending now"页面，返回热门趋势搜索及其搜索量指标和趋势细分）和 Google Trends Explore（返回指定主题的兴趣随时间变化、按子地区的兴趣、相关主题和相关查询）。
2026-06-29 · Crawler API：删除 crawler
- 新增
POST /crawler/<TOKEN>/<NAME>/delete端点，可彻底删除一个 crawler - 它会清空队列并注销该 crawler，使其不再出现在您的仪表板或统计中。与仅清空队列的 Purge 不同，delete 会删除 crawler 本身。此操作不可撤销。
2026-06-06 · 新增抓取器：Galaxus
- 为 Galaxus 新增三个抓取器 - Product、SERP 和 Product Reviews - 从 galaxus.ch 返回结构化的产品、搜索和评论数据。
2026-06-04 · Crawling API：PDF 输出
- Crawling API 新增
pdf=true参数，将完全渲染的页面以 PDF（Content-Type: application/pdf）形式返回，而不是 HTML。 - 可与渲染参数（
country、device、page_wait）组合使用；PDF 请求的计费与 JavaScript 渲染请求相同。
2026-06-02 · Crawler 管理 API
- 通过 REST 以编程方式创建、获取和更新 Crawler，而不仅仅通过仪表板。
- 新增端点：
POST /crawler/<TOKEN>用于创建，GET /crawler/<TOKEN>/<NAME>用于查看详情，PUT /crawler/<TOKEN>/<NAME>用于更新。
2026 年 5 月
2026-05-21 · 免密码注册
- 使用发送到您邮箱的一次性验证码登录。无需设置、记忆或重置密码；现有账号仍可照常使用。
- 为新账号重新设计了注册流程。我们会根据您填写的使用场景预选工作流（scraping、MCP 或 integrations），实时预览您的第一个 Crawling API 请求，并在完成后将您引导至对应的仪表盘版块。
2026-05-08 · 全新文档站点
- 全面重构了 /docs：重新设计导航、新增深色模式，并在所有章节中实现即时页内切换。
- 命令面板搜索（
⌘K/Ctrl K）可从任意位置直接跳转到页面、章节和 API 参数。 - 新增 Ask AI 按钮，可在页内打开一个经 Crawlbase 训练的助手，让您无需离开文档即可提问。
- 交互式 API Playground 可直接在浏览器中发起真实的 Crawling API 调用，并在 body 旁边展示响应头和渲染后的页面预览。
- 在任何文档 URL 后追加
.md（例如/docs/crawling-api.md），即可获取一份干净的 Markdown 副本，方便交给 LLM。 - 发布 /llms.txt 作为 AI 助手发现内容的索引。
- 全面更新了德语、法语、俄语和简体中文翻译，使每一页的文案更精准、更地道。
2026-05-03 · Go SDK v0.1.0
- 首个面向 Crawlbase API 的官方 Go SDK。单一
CrawlingAPI客户端、零依赖、地道的 Go 风格。 - 源代码：github.com/crawlbase/crawlbase-go。参考文档发布于 pkg.go.dev。
2026-05-02 · LangChain 集成 v0.1.0
- langchain-crawlbase 现已上线 PyPI：一个由 Crawling API 驱动的文档加载器、工具和检索器。
- 源代码：github.com/crawlbase/langchain-crawlbase。
2026 年 4 月
2026-04-24 · Crawling API：Markdown 输出
- Crawling API 上新增的
format=md参数会返回干净的 Markdown，而非 HTML。 - 搭配
md_readability=true使用，可在转换前去除导航、广告和页面外框，效果类似阅读模式。
2026-04-23 · 平板设备选项
- Crawling API 的
device参数现在除desktop和mobile外，也接受tablet。
2026-04-23 · MCP Server v1.3.0：存储工具
- Crawlbase MCP server 新增六个存储工具，让 agent 不仅能触发新的抓取，还能在抓取之间列出、读取和清理 Cloud Storage 中的内容。
- 已发布为
@crawlbase/[email protected]。
2026-04-23 · Codex 插件
- Crawlbase Codex 插件将 Crawlbase MCP 引入 OpenAI Codex。
- 目前需通过
git clone至~/.codex/plugins/手动安装；Codex Marketplace 上架审核中。 - 源代码：github.com/crawlbase/crawlbase-codex-plugin
2026 年 3 月
2026-03-25 · Enterprise Crawler：queue_timeout
- Enterprise Crawler 推送现在接受
queue_timeout，可限定请求在队列中的最长停留时间，超时后丢弃，而不是无限等待。
2026 年 2 月
2026-02-10 · Crawler 更名为 Enterprise Crawler
- 异步推送/拉取产品在控制面板和文档中统一更名为 Enterprise Crawler，以与同步的 Crawling API 加以区分。
- 端点、参数和 token 保持不变。
2025 年 11 月
2025-11-25 · MCP Server v1.2.0：认证和 HTTP 模式
- MCP server 现已支持基于 header 的身份认证，以及在 stdio 之外可选的 HTTP 传输模式，适用于共享/远程 MCP 部署场景。
- 已发布为
@crawlbase/[email protected]。
2025-11-04 · Crawlbase 品牌覆盖所有语言版本
- Crawlbase 更名现已体现在文档的每个翻译版本中（此前仅限英文版）。
2025 年 10 月
2025-10-20 · Storage API 更名为 Cloud Storage
- 检索与保留产品在文档、控制面板和 SDK 方法名中统一更名为 Cloud Storage。现有的
/storage端点继续可用。
2025 年 9 月
2025-09-26 · custom_success_code 参数
- Crawling API 新增
custom_success_code，让您在抓取那些合理返回如 404 或 451 的端点时，可以将非 2xx 响应标记为成功。
2025-09-16 · Smart Proxy → Smart AI Proxy
- Smart Proxy 现在更名为 Smart AI Proxy，体现底层新增的 AI 驱动路由与重试逻辑。客户端无需任何变更。
2025 年 7 月
2025-07-10 · Crawlbase MCP Server v1.0
- Crawlbase MCP server 的首次公开发布，以
@crawlbase/mcp形式登陆 npm：提供三个抓取工具（crawl、crawl_markdown、crawl_screenshot），可在 Claude Desktop & Claude Code、Cursor 以及 VS Code / Windsurf 中使用。
2025 年 6 月
2025-06-25 · Smart Proxy：header 与 cookie 转发
- Smart Proxy 现可将自定义请求 header 和 cookie 透传至目标站点，适用于需要身份认证的抓取和会话绑定的采集场景。
2025-06-18 · scroll_interval 计费说明
- Crawling API 文档现在明确说明了
scroll_interval在长滚动页面中如何计入计费，让您在发起无限滚动抓取之前就能预估其成本。