开放数据是现代分析领域一个鲜为人知的优势。政府、研究机构和非营利组织发布了大量可免费使用的数据集，而大多数团队从未加以利用。善加利用，开放数据可以支撑趋势分析、衡量公共政策效果、优化产品决策，并用真实数字而非猜测来为模型提供基础。
本指南汇集了来源可靠、真正免费的开放数据源，按主题分组，便于你直接跳转到项目所需的内容：经济与金融、政府、健康、科学、学术、环境、犯罪、企业目录、媒体、社交，以及一些综合数据存储库。每个数据源均说明其提供的内容及典型用途，文末附有关于负责任地使用开放数据的简短说明。
什么是开放数据？
开放数据是任何人均可访问、使用和分享的数据，无需付费或申请特别许可。在实践中，这建立在三个理念之上。任何人均可访问，即文件是公开的，而非被拒绝的请求或早已废弃的格式所锁定。任何人均可使用，即个人、公司和政府可以在此基础上自由构建，它排除了不应公开的敏感个人信息。任何人均可分享，即数据可以被再使用和再分发。
政府机构和非营利组织托管了其中大部分数据，因为大规模存储和提供数据成本高昂，而它们已经将此作为其使命的一部分来执行。其中大部分数据采用知识共享（Creative Commons）等许可证，允许你自由使用数据，同时告知你如何注明来源。许可证是大多数人会跳过的部分，但它是保持你使用合规的关键，因此在基于某个数据集构建之前请务必阅读。
经济与金融数据
市场、贸易流动和宏观经济指标，适用于研究、仪表板以及任何需要可靠数字基线的场景。
Global Financial Data
GFD 提供免费订阅，开放全球市场和经济数据，以及期刊、书籍和丰富的历史序列档案。当你需要的是长时间跨度而非仅限于近期数据时，这是一个很好的起点。
联合国商品贸易统计数据库
由 Comtrade Labs 整理，这个免费数据库涵盖全球贸易，并通过 API 公开，让你可以以编程方式提取数据，而无需手动下载电子表格。它还捆绑了可视化和提取数据的工具。
世界银行开放数据
提供 GDP、物流、全球能源消费以及全球资金拨付与管理数据的最佳单一来源之一。更新频繁，部分数据集自带可视化工具。
Financial Times
尽管表现为在线报纸，《金融时报》也是涵盖美洲、欧洲、非洲和亚洲全球市场的广泛信息来源，对于为原始数字提供定性背景非常有用。
政府与全球数据
国家统计局和政府间机构发布了一些最丰富的开放数据，涵盖从犯罪到人口统计的一切内容。
Data.gov.uk
美国 data.gov 的英国对应版本，涵盖从犯罪与司法到国防和政府支出的各个类别。对于使用英国公共数据的任何人来说，这是一个实用的第一站。
U.K. Data Service
Data.gov.uk 的补充，提供社会趋势、政治、金融和国际关系的近期数据集，更面向研究界。
Open Data Network
一个开放数据集搜索引擎，具有高级过滤器，可帮助你快速找到公共安全、金融、基础设施、住房和发展数据，而无需逐站浏览。
联合国儿童基金会
监测和报告全球儿童和妇女状况的开放数据集，包括疾病暴发、性别与教育以及对社会规范的态度。
Data.gov
世界上最全面的开放数据门户之一，涵盖从科学研究到制造业和气候的各类内容。数据以 CSV、JSON 和 XML 格式提供，元数据更新频繁，让你确信所提取的内容是最新的。如果你计划将其加载到电子表格或数据库中，我们关于 JSON 与 CSV 的说明可帮助你选择合适的格式。
美国人口普查局
美国居民人口数据的权威开放来源，汇集自联邦、州和地方政府以及私营企业。对于人口、住房和经济人口统计工作不可或缺。
健康数据
公共卫生机构和研究机构发布详细的健康数据集，对研究人员、政策制定者以及任何在健康领域构建工具的人都很有价值。
HealthData.gov
一个拥有 3,000 多个数据集、跨越 125 年以上的存储库，旨在为企业家、研究人员和政策制定者提供高价值的健康数据。
Broad Institute
一个清晰、组织良好的开放健康和科学研究数据来源，在各类癌症方面有特别深厚的积累。
Food and Drug Administration (FDA)
美国食品药品监督管理局（FDA）发布美国食源性疾病和污染物、召回事件以及膳食补充剂新闻的数据。
美国国家癌症研究所
美国国立卫生研究院的一部分，是 Broad Institute 的补充，具有高级过滤器，让你可以缩小到特定癌症相关数据集。
世界卫生组织
关于死亡率、疾病暴发、精神疾病和卫生融资最全面的全球数据存储库之一。
Center for Disease Control
疾病控制与预防中心（CDC）提供大量关于慢性病、癌症、心脏病、先天性疾病等的免费数据集。
NHS Digital
一项易于使用的免费服务，提供关于英格兰卫生和社会护理系统状况的高质量数据集。
科学数据
地球、太空和跨学科研究数据，规模通常很大。
NASA Earth Data
来自 NASA 的免费地球科学数据，涵盖大气层、冰冻圈、陆地、海洋以及经校准的太阳辐射的测量数据。
Open Science Data Cloud
OSDC 持有超过一拍字节的大型数据集，让科学研究人员能够高效地跨多个学科管理、共享和分析开放数据。
NASA Planetary Data System
关于太阳系中各行星的数千个开放数据集，面向研究人员、教育工作者、学生和公众。
学术数据
教育统计、调查研究和学术成果，适用于教育机构、社会科学家和文献综述。
美国国家教育统计中心
NCES 发布教育机构用于提高保留率和毕业率以及了解学生学习方式的数据集。
Pew Research Center
美国最大的开放数据来源之一，汇集高质量的调查数据集。调查数据通常在报告发布两年后公开，需创建免费账户访问。
Google Scholar
在此搜索数据集的方式与普通搜索引擎非常相似，为你提供大量教育性、同行评审的来源。
环境数据
能源、气候和环境健康数据集，适用于可持续发展研究和报告。
IEA Atlas of Energy
来自国际能源署（IEA）的开放数据集，让你可以查看全球能源和电力消费率。
Climate Data Online
CDO 是全球历史和近实时气候数据的强大来源，包括每日摘要、海洋数据和天气雷达。
美国国家环境卫生中心
由 CDC 整理，该存储库重点介绍从全国角度收集公共卫生和环境数据的国家数据系统。
许多门户提供 API，但大量有用的公共数据仍然存在于使用 JavaScript 渲染或对大量流量进行限速的普通网页上。当来源是网站而非直接可下载的文件时，Crawlbase Crawling API 为你请求页面并返回 HTML，处理 JavaScript 渲染、IP 轮换和 CAPTCHA，让数据收集不会停滞。你保留自己的解析代码，并从 1,000 次免费请求开始。
犯罪与毒品数据
刑事司法和药物滥用数据集，主要来自美国联邦机构和联合国。
National Archive of Criminal Justice Data
NACJD 提供关于累犯、帮派暴力、恐怖主义、仇恨犯罪等内容的公开和限制访问数据集。
美国国家药物滥用研究所
NIDA 托管对研究美国烟草、酒精、违禁药物和处方阿片类药物滥用有重要意义的数据集。
Uniform Crime Reporting Program
联邦调查局（FBI）通过该项目汇总来自 18,000 多个城市、大学、县、州和部落的统计数据。
Bureau of Justice Statistics
除与逮捕相关的死亡数据外，司法统计局（BJS）还收集年度急诊室数据和枪支查询等数字。
联合国毒品和犯罪问题办公室
联合国毒品和犯罪问题办公室（UNODC）定期发布关于毒品生产和贩运、凶杀率、腐败和有组织犯罪的数据集。
企业目录数据
公司记录和评论数据，适用于市场研究、竞争分析和潜在客户开发。
Open Corporates
全球最大的开放公司数据库之一，拥有几乎覆盖每个国家的数亿条企业记录。
Glassdoor
职位评论网站包含大量开放数据。在 Glassdoor 上，你可以找到性别薪酬分析、月薪报告和本地薪酬报告。
Yelp
Yelp 的开放数据集包含数百万条商业评论，你可以分析这些评论以发现商业情感中的模式和趋势。
媒体与新闻数据
新闻档案和数据新闻来源，通常可通过开发者 API 获取。
Associated Press Developer
美联社的开发者服务让你可以围绕新闻内容、民调数据和元数据构建集成，其精神与《纽约时报》开发者网络类似。
FiveThirtyEight
一个广受尊重的数据新闻来源，涵盖政治到体育等各类话题，其发布的分析背后都有数据集支撑。
纽约时报开发者网络
注册应用程序后，你可以访问《纽约时报》的摘要、链接、多媒体、书籍、列表和故事，文本可追溯至 1851 年。
营销与社交媒体数据
面向营销人员和分析师的实时情感、搜索兴趣和社交图谱数据。
Social Mention
一个实时社交数据搜索引擎，大规模呈现情感、关键词使用、用户和话题标签。
Google Trends
Google Trends 展示全球正在搜索什么，让营销人员能够围绕上升趋势安排营销活动，而不是凭猜测。
Graph API
Graph API 是一组让应用程序读写 Facebook 社交图谱数据的 API。将其视为访问公开 Facebook 数据的结构化窗口，并注意其访问受 Facebook 自身条款约束。
其他数据存储库和聚合器
整合上述许多数据集以及一些不寻常来源的综合数据源。
Google Public Data Explorer
本列表上的许多来源都在此汇集，这使其成为当你不确定从哪里找起时的绝佳起点。Google Dataset Search 作为一种免费的方式对其进行补充，可在网络上查找数据集。
Datasets SubReddit
一个 Reddit 社区，人们在此分享有趣的数据集，通常以 R 等语言抓取或整理，适合寻找非主流数据。
DBpedia
将 Wikipedia 视为数据库而非网站。DBpedia 允许你通过单一查询界面探索数百万条 Wikipedia 条目及其相互关系，这也是它被 Apple、Google 和 IBM 等公司的 AI 项目所采用的原因。
大数据是开源的吗？
越来越多的大数据工具是开源的，包括 MongoDB（一种适合大数据工作负载的可扩展 NoSQL 存储）等数据库系统。开源组件还涵盖管道的其余部分，从数据收集和摄取到处理和存储，因此你可以在不使用专有许可证的情况下组建完整的技术栈。开放工具与开放数据天然配对：免费数据集为你提供输入，开源系统为你提供存放这些数据的地方。
负责任地使用开放数据
免费并不意味着无条件。大多数开放数据集附带许可证，通常是知识共享许可证，告知你可以如何使用数据以及如何注明来源，因此请阅读并正确署名。当来源提供 API 时，优先使用 API 而非抓取网站，并遵守其速率限制和条款。如果数据集涉及个人信息，即使数据在技术上是公开的，也应按照 GDPR 和 CCPA 等规定处理。当你从网页而非下载文件收集数据时，保持请求频率合理并遵守每个网站的 robots.txt。目标是成为你所受益的开放数据公域的好公民。数据到手后，我们关于结构化和清洗数据以及使用 pandas 分析数据的指南，可帮助你将原始文件转化为洞察。
核心要点
- 开放数据意味着访问、使用和分享。一个数据集被视为开放，当任何人都可以访问、基于其构建并自由再分发时，通常遵循知识共享等许可证。
- 从你需要的类别开始。经济、政府、健康、科学、学术、环境、犯罪、商业、媒体和社交各有既定的免费来源，先选好类别，再选具体来源。
- 政府和政府间门户是骨干。Data.gov、美国人口普查局、世界银行、世卫组织以及类似机构发布了全球最深入、维护最好的开放数据之一。
- 聚合器节省发现时间。Google Public Data Explorer、Google Dataset Search 和 DBpedia 整合了许多来源，是当你不知道从哪里找起时最快速的入口。
- 遵守许可证和规则。阅读许可证，按要求注明来源，优先使用官方 API 而非抓取，并在涉及个人数据时遵守隐私法律。
常见问题
开放数据与免费数据有什么区别？
所有开放数据都可以免费获取，但开放数据的要求更高：它还必须可以免费再使用和再分发，通常通过明确的许可证规定。有些数据可以免费查看，但对使用或分享的方式有限制，因此要检查许可证，而不是假设免费就等于开放。
我应该从哪个开放数据源开始？
从你的主题出发。对于广泛的美国政府数据，Data.gov 是自然的切入点；对于全球经济，世界银行；对于人口统计，美国人口普查局；对于健康，世卫组织或 HealthData.gov。如果你不确定从哪里找，Google Public Data Explorer 和 Google Dataset Search 将许多来源聚合在一处。
我可以在商业产品中使用开放数据吗？
通常可以，但完全取决于特定数据集所附的许可证。许多开放许可证，包括大多数知识共享变体，只要你正确注明来源，就允许商业使用。在基于任何数据集构建任何产品之前，请务必阅读每个数据集的许可证条款。
我需要抓取开放数据还是可以直接下载？
大多数主要门户提供 CSV、JSON 或 XML 格式的直接下载，或提供 API，这些应始终是你的首选。只有当有用的公共数据存在于没有下载或 API 的网页上时，才会用到抓取。在这种情况下，请礼貌地收集，并遵守网站条款。
大数据与开放数据是一回事吗？
不是。大数据描述的是数据集的规模和复杂性，而开放数据描述的是其许可证和可访问性。一个数据集可以是开放的但规模不大，而大型数据集通常是专有的。当一个大型数据集也以开放方式发布时，两者就会重叠，本列表中有几个来源属于这种情况。
如何保持我对开放数据使用的合规性？
阅读并遵守每个数据集的许可证，按要求注明来源，优先使用官方 API 而非抓取，在从页面收集数据时遵守速率限制和 robots.txt。如果数据包含个人信息，即使数据是公开的，也应按照适用的隐私法律（如 GDPR 和 CCPA）处理。
大规模爬取任何站点，无需与基础设施对抗。
Crawlbase 负责处理代理、指纹和 CAPTCHA，让你的团队专注于交付数据流水线，而非维护爬取管道。1,000 次请求免费，无需信用卡。