crawlbase文档
登录

所有 Scrapers

命名数据提取器，将受支持的网页转换为干净的结构化 JSON。无需在您这端解析 HTML。选择一个 scraper，指向某个 URL，即可获取您真正需要的字段。

Scrapers 的工作原理

Scrapers 基于 Crawling API 运行。在任意 Crawling API 调用中添加 &scraper=NAME，即可获取解析后的 JSON，而不是原始 HTML。相同的 token、相同的速率限制、相同的重试机制 - 只是响应的形式不同。

快速开始

curl 'https://api.crawlbase.com/?token=YOUR_TOKEN' \
  --data-urlencode 'url=https://www.amazon.com/dp/1098145356' \
  --data-urlencode 'scraper=amazon-product-details' -G

浏览目录

每个 scraper 都有自己的页面，包含输入格式、输出结构以及多种语言的代码示例。点击下方任意名称即可查看完整详情。

Amazon

商品详情、搜索结果、评论、畅销榜、新品发布。

Google

搜索引擎结果页（包含所有 SERP 功能），以及 Shopping 商品报价。

Facebook

公开小组、主页、个人资料、话题标签、活动。推荐使用 JS token。

Instagram

Reels、帖子、个人资料、话题标签、音频聚合。推荐使用 JS token。

TikTok

Shop、商品、个人资料。评论、定价、卖家指标、相关视频。

LinkedIn

个人资料、公司、公开动态。获取工作经历、教育背景、技能、员工人数等信息。

Quora

Airbnb

eBay

AliExpress

Galaxus

Bing

Immobilienscout24

Walmart

Best Buy

G2

Eventbrite

GitHub

面向 GitHub 的开发者平台 scrapers - 仓库页面、仓库搜索结果，以及用户或组织资料页。概览请参见开发者类别。

Reddit

面向社区平台的 scrapers，覆盖 Reddit - 子版块列表、搜索结果，以及带完整评论树的单条帖子。概览请参见社交媒体类别。

Booking.com

面向 Booking.com 的旅行与酒店类 scrapers - 搜索结果列表与单个酒店页面，包含价格、评论分数以及设施。概览请参见旅游、活动与房产类别。

Product Hunt

Product Hunt scrapers，覆盖每日和每周排行榜，以及带点赞、创建者、话题和评论的单个产品页面。概览请参见评论与问答类别。

Stack Exchange

Stack Exchange scrapers，覆盖问题、标签和搜索列表，以及包含每个回答和评论的单个问题主题，横跨整个 Stack Exchange 网络。

Exercism

面向 Exercism 的开发者平台 scrapers - 轨道练习列表、单个练习说明、社区解决方案列表，以及单个已发布解决方案。概览请参见开发者类别。

OLX

面向 OLX 的分类信息市场 scrapers - 搜索/类目结果页和单条广告页，覆盖 OLX 共享的前端（olx.pl、olx.ua、olx.pt、olx.ro、olx.bg、olx.kz、olx.uz）。概览请参见电商类别。

通用

与站点无关的提取器，可在任何 URL 上工作。

没找到您需要的？

对于不支持的网站，您始终可以使用不带 scraper 的 Crawling API 获取完整的 HTML 并自行解析。新的 scrapers 每月都会发布 - 如有特定需求，请联系支持团队。