How do I scrape DuckDuckGo search results?

Send the DuckDuckGo results URL to the Crawlbase Crawling API with your token. Crawlbase rotates a residential proxy, renders the page in a real browser, clears bot checks, and returns the fully rendered HTML with the organic results in place. Add scraper=generic-extractor to get structured JSON instead.

Can I get DuckDuckGo results as JSON?

Yes. By default the Crawling API returns rendered HTML; add the generic extractor (scraper=generic-extractor) to receive title, meta, content, images and links as JSON, or parse the HTML yourself for result titles, snippets and URLs.

Does it render the JavaScript results?

Yes. DuckDuckGo loads its results dynamically with JavaScript. A real browser executes the page, so the organic results render before capture, not just the initial shell.

How do I avoid getting blocked scraping DuckDuckGo?

Crawlbase routes each request through rotating residential IPs across 30 geographies and clears bot checks and rate limits automatically. You do not manage proxies or solve CAPTCHAs, and there is nothing to maintain when DuckDuckGo changes its setup.

Can I track keyword rankings on DuckDuckGo?

Yes. Crawl a results URL per query and geography on a schedule, then read the ranked result titles and URLs from the HTML or JSON to track positions over time.

Which DuckDuckGo pages can I crawl?

Any public results URL: standard queries, the HTML endpoint, web and news verticals, and region or time filtered searches. The same API works on any other site too.

How much does it cost?

Start free with up to 10,000 requests and no credit card. Paid plans scale with usage, and the same token works across the Crawling API and every Crawlbase scraper.

Crawling API / DuckDuckGo

DuckDuckGo 抓取工具。
每一条结果，完整渲染。

发送任意 DuckDuckGo 结果 URL，即可获得完整渲染的 HTML，通过住宅代理返回并内置反爬处理。
使用 generic extractor 将其转换为 JSON。

免费开始在线查看

99% 成功率1.4 亿住宅 IP30 个地区

实时抓取信息流 · DuckDuckGo1.24M req/min流式传输

200duckduckgo.com/?q=data+pipeline&t=h_BR142ms

200duckduckgo.com/?q=machine+learningIN84ms

200duckduckgo.com/?q=web+scrapingGB105ms

200duckduckgo.com/?q=ai+startups&ia=webFR146ms

200duckduckgo.com/?q=data+pipeline&t=h_NL210ms

200duckduckgo.com/?q=python+tutorial&t=h_NL185ms

200duckduckgo.com/?q=ai+startups&ia=webFR167ms

200duckduckgo.com/html/?q=privacy+browserFR109ms

200duckduckgo.com/?q=link+buildingSG179ms

200duckduckgo.com/?q=link+buildingGB69ms

200duckduckgo.com/?q=crm+softwareJP85ms

200duckduckgo.com/?q=cloud+hostingAU46ms

200duckduckgo.com/html/?q=best+vpnFR109ms

200duckduckgo.com/?q=crm+softwareUS59ms

200duckduckgo.com/?q=link+buildingJP168ms

200duckduckgo.com/?q=data+pipeline&t=h_SG174ms

301duckduckgo.com/html/?q=best+vpnAU162ms

200duckduckgo.com/?q=ai+startups&ia=webGB56ms

200duckduckgo.com/?q=crm+softwareES140ms

200duckduckgo.com/?q=crm+softwareES175ms

200duckduckgo.com/?q=ecommerce+platform&t=h_CA214ms

200duckduckgo.com/?q=electric+cars&ia=webIN46ms

200duckduckgo.com/?q=web+scraping+api&ia=webFR96ms

200duckduckgo.com/?q=data+pipeline&t=h_ES56ms

200duckduckgo.com/?q=web+scraping+api&ia=webES156ms

200duckduckgo.com/?q=ecommerce+platform&t=h_AU121ms

200duckduckgo.com/?q=data+pipeline&t=h_BR142ms

200duckduckgo.com/?q=machine+learningIN84ms

200duckduckgo.com/?q=web+scrapingGB105ms

200duckduckgo.com/?q=ai+startups&ia=webFR146ms

200duckduckgo.com/?q=data+pipeline&t=h_NL210ms

200duckduckgo.com/?q=python+tutorial&t=h_NL185ms

200duckduckgo.com/?q=ai+startups&ia=webFR167ms

200duckduckgo.com/html/?q=privacy+browserFR109ms

200duckduckgo.com/?q=link+buildingSG179ms

200duckduckgo.com/?q=link+buildingGB69ms

200duckduckgo.com/?q=crm+softwareJP85ms

200duckduckgo.com/?q=cloud+hostingAU46ms

200duckduckgo.com/html/?q=best+vpnFR109ms

200duckduckgo.com/?q=crm+softwareUS59ms

200duckduckgo.com/?q=link+buildingJP168ms

200duckduckgo.com/?q=data+pipeline&t=h_SG174ms

301duckduckgo.com/html/?q=best+vpnAU162ms

200duckduckgo.com/?q=ai+startups&ia=webGB56ms

200duckduckgo.com/?q=crm+softwareES140ms

200duckduckgo.com/?q=crm+softwareES175ms

200duckduckgo.com/?q=ecommerce+platform&t=h_CA214ms

200duckduckgo.com/?q=electric+cars&ia=webIN46ms

200duckduckgo.com/?q=web+scraping+api&ia=webFR96ms

200duckduckgo.com/?q=data+pipeline&t=h_ES56ms

200duckduckgo.com/?q=web+scraping+api&ia=webES156ms

200duckduckgo.com/?q=ecommerce+platform&t=h_AU121ms

01 在线演示

输入任意 DuckDuckGo URL，输出 HTML 或 JSON。

Crawling API，实时演示。获取渲染后的 HTML，或切换到 generic extractor 获取 JSON。悬停即可暂停阅读。

就绪

按键 1-2 切换 · 点击暂停运行你自己的 URL

几分钟内运行你的第一个请求。最多 10,000 次免费请求，无需信用卡。免费开始

02 功能

一个 API，应对 DuckDuckGo 抛给你的一切。

DuckDuckGo 使用 JavaScript 渲染结果，在大批量抓取时会触发速率限制和机器人检测。Crawling API 在真实浏览器中渲染页面，通过住宅 IP 访问，并向你返回干净的 HTML 或 JSON。

render

完整 JavaScript 渲染

真实浏览器会执行页面，因此动态加载的自然搜索结果、标题、摘要和链接都会被捕获，而不仅仅是初始的页面外壳。

proxies

1.4 亿住宅 IP

每个请求都会在 30 个地区之间轮换住宅 IP，因此你可以像真实的本地搜索者一样访问 DuckDuckGo，并看到本地排名。

anti-bot

为你处理封锁

自动清除 CAPTCHA、机器人拦截墙和速率限制。无需破解，无需维护。

format

HTML 或 JSON

获取完整渲染的 HTML，或添加 scraper=generic-extractor 即可返回标题、内容、图片和链接等结构化 JSON。

extras

截图与异步

同一次调用可以捕获整页截图，或通过 webhook 和云存储异步运行。

one token

一个 API 适用于所有站点

Crawling API 适用于任意 URL，因此同一个令牌可覆盖 DuckDuckGo 以及你抓取的其他一切。查看在线演示.

03 输出

渲染后的 HTML，或干净的 JSON。

默认情况下你会获得渲染后的 HTML。添加 generic-extractor 同一页面就会以类型化的 JSON 返回。

{ "title": "web scraping at DuckDuckGo", "favicon": "https://duckduckgo.com/favicon.ico", "meta": { "description": "DuckDuckGo. Privacy, simplified.", "keywords": "..." }, "content": "Organic results, titles, snippets and result URLs for the query...", "canonical": "https://duckduckgo.com/?q=web+scraping", "images": [ "..." ], "og_images": [ "..." ], "links": [ "..." ] }

页面

title · string canonical · string favicon · string

元信息

meta.description · string meta.keywords · string

内容

content · string

媒体

images · array og_images · array

链接

links · array

04 工作原理

一次调用，从 URL 到数据。

每个 DuckDuckGo 请求都沿着相同的路径流转。你发送一个 URL，我们处理其间的一切。

发送 URL

携带你的令牌传入任意公开的 DuckDuckGo 结果 URL：查询、HTML 端点、垂直搜索或过滤后的搜索。

轮换代理

从 30 个地区的 1.4 亿 IP 中选取一个能干净访问 DuckDuckGo 的住宅 IP 和地区。

渲染页面

真实浏览器加载页面，因此 JavaScript 渲染的自然搜索结果、标题和摘要会在捕获前完成渲染。

清除反爬

DuckDuckGo 的速率限制和机器人检测会被自动处理。无需破解，无需维护。

返回 HTML 或 JSON

返回完整渲染的 HTML，或在你添加 generic extractor 时返回类型化的 JSON。

05 使用场景

团队基于 DuckDuckGo 数据构建了什么。

USE / 01排名

关键词排名追踪

按查询和地区定时抓取结果 URL，以追踪位置和排名随时间的变化。

USE / 02SERP

SERP 监控

关注结果页面上新出现的条目、功能变化以及你关心的查询的排名波动。

USE / 03SEO 研究

SEO 研究

提取排名靠前的标题、摘要和结果 URL，以研究搜索意图、竞争对手和内容空白。

USE / 04发现

线索与链接发现

发掘为你的关键词排名的域名、资料页和页面，为外联和链接开发提供支持。

USE / 05训练

训练数据与 RAG

通过一个 API 将干净的结果文本和结果 URL 送入模型、RAG 流水线和智能体。

USE / 06覆盖

任意 URL，一个 API

抓取查询、HTML 端点、垂直搜索和过滤条件，以及你需要的任何其他站点。

06 须知

抓取 DuckDuckGo 时值得了解的要点。

像真实浏览器一样渲染

DuckDuckGo 使用 JavaScript 动态加载结果；Crawling API 运行真实浏览器，因此自然搜索结果会在捕获前完成渲染。

默认 HTML，按需 JSON

你会获得完整渲染的 HTML。添加 scraper=generic-extractor 即可获得解析后的标题、内容、图片和链接，或自行解析 HTML 以获取结果标题、摘要和 URL。

按地区本地化结果

地理定位会选择代理所在地区，因此你可以像某个国家的搜索者一样查看排名。

从任何地方访问 DuckDuckGo

在 30 个地区和 1.4 亿住宅 IP 之间轮换，意味着无需管理代理或触发速率限制，即可在大批量下保持稳定访问。

07 为什么选择 Crawlbase

专为大规模抓取 DuckDuckGo 而生。

Crawling API 运行在同一套网络之上，为 46,000+ 付费客户和 70,000+ 开发者提供服务。无需购买代理，无需运行浏览器，DuckDuckGo 变化时也无需打补丁。

99%

平均请求成功率

140M

住宅 IP，另有 9800 万数据中心 IP

用于精准本地结果的地区数

20/s

默认每秒请求数，可按需提升

一个令牌，为 Python、Node 和 Ruby 提供官方 SDK，底层是 99.99% 可用性的网络。

08 FAQ

DuckDuckGo 抓取常见问题。

携带你的令牌将 DuckDuckGo 结果 URL 发送到 Crawlbase Crawling API。Crawlbase 会轮换住宅代理，在真实浏览器中渲染页面，清除机器人检测，并返回自然搜索结果就位的完整渲染 HTML。添加 scraper=generic-extractor 即可改为获取结构化 JSON。

可以。默认情况下 Crawling API 返回渲染后的 HTML；添加 generic extractor（scraper=generic-extractor）即可获得标题、元信息、内容、图片和链接等 JSON，或自行解析 HTML 以获取结果标题、摘要和 URL。

会。DuckDuckGo 使用 JavaScript 动态加载结果。真实浏览器会执行页面，因此自然搜索结果会在捕获前完成渲染，而不仅仅是初始的页面外壳。

Crawlbase 将每个请求通过 30 个地区轮换的住宅 IP 发送，并自动清除机器人检测和速率限制。你无需管理代理或破解 CAPTCHA，DuckDuckGo 更改其设置时也无需维护。

可以。按查询和地区定时抓取结果 URL，然后从 HTML 或 JSON 中读取排名靠前的结果标题和 URL，以追踪位置随时间的变化。

任意公开的结果 URL：标准查询、HTML 端点、网页和新闻垂直搜索，以及按地区或时间过滤的搜索。同一个 API 同样适用于任何其他站点。

免费开始，包含最多 10,000 次请求且无需信用卡。付费套餐随用量扩展，同一个令牌可跨 Crawling API 和每一个 Crawlbase 抓取工具使用。

开始抓取 DuckDuckGo。
追踪排名，不再被封锁。

免费开始，包含最多 10,000 次请求。一个令牌通用于 Crawling API 和每一个抓取工具。

免费开始阅读文档