不久前，保存文件意味着一抽屉的外置硬盘，祈祷它们不会损坏。后来 Google Drive、Dropbox 和一批类似服务将数据迁移到了互联网上，突然之间你可以在任何地方、任何设备上访问，无需拥有一块硬盘。这种转变就是云存储，它如今支撑着从家庭照片库到 PB 级数据流水线的一切。
本文将用通俗的语言定义云存储，解释其在幕后的实际工作原理，然后介绍你将要在主要类型之间做出选择：存储格式（对象存储、块存储和文件存储）以及部署模型（公有云、私有云、混合云和社区云）。之后将涵盖实际应用场景，包括存储抓取数据集的适用场景，帮助你选择最适合工作负载的方案。
什么是云存储？
云存储是云计算的一部分，你的数据和文件保存在通过互联网访问的服务器上，而非你自己拥有的硬件上。第三方提供商托管、管理和保护这些服务器，你可以从任何有网络连接的设备访问数据。简而言之，就是存储在互联网上。
由于提供商运行基础设施，你无需自己购买、安装或维护磁盘。你只需为实际使用的容量和请求付费，这正是云存储与自建存储相比具有成本优势的原因。小型企业不必预先购买大型存储阵列：它可以根据实际数据、冗余和备份需求调整存储规模，待业务增长后再扩展。这种弹性也是单个团队和全球企业都能在同一模式下运营的原因，各自只为其消耗付费。
实际效益很简单。你的数据持久、可用，随时可从任何地点、任何设备访问，无需你管理存储它的机器。
云存储的工作原理
云存储通过将数据保存到提供商数据中心的服务器来工作。当你上传文件时，云服务不会将其放在一台机器上，而是将副本转发到分布于不同物理位置的多台虚拟服务器上。这种复制正是数据能够在维护窗口、停电甚至区域性灾难中幸存的原因：如果一个站点宕机，另一个站点仍能为你的数据提供服务。
当存储需求增长时，提供商会启动额外的虚拟服务器来承担负载，因此你不会像使用自有硬件那样遇到硬性上限。作为交换，你放弃了大部分日常控制权。提供商负责容量、持久性、安全性和交付，你只需保留一个简单的接口来读写数据。这种权衡，即以较少的控制换取更大的规模和可靠性，是云计算的核心契约。
按格式划分的云存储类型
在考虑部署方式之前，首先要了解数据在磁盘上的组织方式。有三种存储格式，大多数提供商都提供全部三种，因为每种格式适合不同的访问模式。
对象存储
对象存储将每个文件作为独立对象保存，与唯一标识符和元数据层捆绑在一起，存放在称为桶的扁平命名空间中。底层没有文件夹，你通过键直接寻址对象。这就是 Amazon S3、Google Cloud Storage 和 Azure Blob 等服务的底层技术，几乎可以无限扩展。它最适合大量非结构化数据，即一次写入、稍后读取的场景：备份、媒体文件、日志以及已爬取的网页或解析后的数据集。元数据和扁平结构使你无需目录树就能轻松管理数十亿个对象。
块存储
块存储将数据分割成固定大小的块，每块有自己的地址，并以原始卷的形式呈现，服务器将其视为本地磁盘。由于任何块都可以直接读写，它能提供低延迟随机访问，这正是它位于数据库、事务系统和虚拟机启动卷之下的原因。它最适合需要对变化数据进行快速、一致读写性能的工作负载，在这种场景下，是应用程序而非存储层决定文件的排列方式。
文件存储
文件存储以桌面的方式组织数据：通过标准网络文件协议访问的文件夹和子文件夹层级结构。这是最熟悉的模型，也最便于团队共享，因为每个人都能浏览同一目录树。它最适合共享文档、主目录以及期望使用传统文件路径的应用程序。当多人或多系统需要通过公共结构读写相同文件时，文件存储是自然之选。
按部署模型划分的云存储类型
第二个维度是谁拥有和共享底层基础设施。传统的四种模型依然适用：公有云、私有云、混合云和社区云。每种模型在成本、控制和安全性之间有不同的权衡。
公有云
公有云存储运行在第三方提供商的共享基础设施上，容量出租给多个客户。它具有成本效益、高度可扩展、灵活且可靠，内置高可用性。权衡在于对数据的直接控制较少，以及共享资源带来的性能波动。它最适合文件共享、备份恢复和数据归档，即覆盖范围和弹性比拥有硬件更重要的场景。
私有云
私有云存储专属于单个组织，无论是托管在本地还是由提供商专门为该客户托管。它提供强大的安全性、对数据的严格控制、高性能和深度定制能力。成本较高，你需要承担更多维护和扩展责任。它最适合有预算、有机密或受监管数据、有自己的数据中心和应用托管需要整合的组织。
混合云
混合云存储结合了公有云和私有云，让企业决定每类数据应存放在哪里。敏感记录可以保留在私有层，而批量或突发工作负载则在公有层运行，这在保证安全性的同时，保持了灵活性、可扩展性和更高的成本效益。缺点是复杂性：整合两个环境带来了兼容性和管理开销。它最适合跨越两个世界的灾难恢复、备份和数据归档。
社区云
社区云存储是由具有共同需求（如相同法规或行业）的多个组织共用的基础设施。在成员间分摊成本使其经济实惠，同时仍能提供合理的安全性和定制化能力。它的普及程度较低，采用速度较慢，并非适合所有人。它最适合在共同规则下协作的行业，如医疗、金融和教育，这些行业的同行组织能够从共同的合规平台中受益。
若要详细了解每种层级与自有硬件存储的对比，我们关于 云存储与本地存储 的专题文章详细分析了成本、访问和可靠性之间的权衡。
云存储的实际应用场景
云存储改变了数据的保存、查看和管理方式，随着数字信息量的增长和远程访问需求的提升，其重要性不断提高。除了比自建硬件更便宜之外，它还支撑着几类具体的工作负载。
备份与归档
最常见的用途是保存持久的异地数据副本。由于提供商会自动在多个位置复制，云端备份能够在本地单块硬盘损坏时幸存。很少触及的冷归档廉价地存放在对象存储中，版本历史意味着你可以恢复文件的早期状态，而不仅仅是最新版本。
媒体存储与分发
照片、视频和音频文件体积庞大，需要从任何地方快速送达用户。对象存储持久地保存原始文件，提供商将其与分发网络配对，使相同的媒体能同时流式传输到一个国家的手机和另一个国家的浏览器，而无需你运行服务器。将这些文件从分散的设备中解放出来，整合到一个有序的集合中，既是日常消费者的需求，也是企业级需求。
大数据与分析
分析需要一个单一的、可扩展的地方来存放原始和处理后的数据，云提供了这一点。团队将大型数据集汇集在对象存储中，然后将数据仓库、查询引擎和报表工具指向同一数据源。由于容量按需增长，隔夜翻倍的数据集不需要购买硬件，这正是云成为数据密集型工作默认基础的原因。
应用数据与协作
应用程序将云作为其工作数据层：存储用户内容，跨设备同步，并让所有人保持对共享文件最新版本的访问。实时协作（多人同时编辑同一文档）依赖于此，依赖内置共享、文件访问和修改历史保持同步的远程团队也不例外。提供商确保每位读者看到的都是同一当前版本。
存储抓取数据集
对于运行网络抓取流水线的人来说，云是爬取输出的天然归宿。抓取数据每天增长，需要被解析器和分析师重新查询，通常需要在团队间共享或输送到流水线的下一个阶段。对象存储将原始 HTML 快照和解析后的记录保持持久且可随时查询，弹性容量能够承载不断扩展的爬取任务。将规范副本保存在一个存储中，意味着每个下游消费者，无论是模型训练任务还是仪表盘，都从同一来源读取，而非从一堆本地文件中拼凑。
一旦爬取任务大规模运行，困难的部分是将所有数据持久地存放在某处，而无需守着磁盘。Crawlbase Crawling API 和异步 Crawler 负责抓取、渲染和轮换，然后在任务运行时将爬取的页面直接交付到托管存储中，使你的输出累积在一个可随时查询的地方，而不是散落在需要自行备份的文件中。
如果你要将抓取数据接入更大的系统，端到端地设计流程会有所帮助。我们的 构建可扩展网络数据流水线指南 和 数据流水线架构 演练都介绍了各存储层的位置，如果你收集的数据较为敏感，代理如何改善数据安全和隐私 也值得一读。
核心要点
- 云存储是通过互联网访问的提供商服务器上的数据。 你按使用量付费，无需自己拥有硬件。
- 它通过在多个站点复制数据来工作。 这种冗余正是使数据在故障和灾难中保持持久的原因。
- 三种格式以不同方式组织数据。 对象存储用于非结构化大量数据，块存储用于快速随机访问，文件存储用于共享层级结构。
- 四种部署模型在成本与控制之间取得平衡。 公有云追求规模，私有云追求控制，混合云兼顾两者，社区云面向共同规则的行业。
- 抓取数据集属于云端。 对象存储将持续增长、随时可查询的爬取输出保存在一个持久的地方，供所有下游消费者使用。
常见问题
简单来说，什么是云存储？
云存储意味着将你的文件保存在由提供商运行并通过互联网访问的服务器上，而非自己拥有的硬盘上。提供商负责管理磁盘、复制和正常运行时间，你可以从任何联网设备访问数据。你只为实际使用的容量和请求付费。
云存储的主要类型有哪些？
可以从两个维度来划分。按格式，有对象存储（用于非结构化数据）、块存储（用于快速随机访问）和文件存储（用于共享文件夹层级结构）。按部署模型，有公有云、私有云、混合云和社区云，它们在谁拥有和共享基础设施方面有所不同。
对象存储、块存储和文件存储有什么区别？
对象存储将整个文件作为对象，附带元数据保存在扁平桶中，几乎可以无限扩展，适合备份和媒体。块存储将数据分割成固定大小的卷，支持低延迟随机访问，适合数据库。文件存储通过网络协议使用文件夹层级结构，适合共享文档和传统应用程序。
云存储安全吗？
主要提供商提供静态和传输中的加密、细粒度访问控制以及多因素认证，因此数据本身受到良好保护。反复出现的问题是治理而非原始安全性：你的规则是否允许数据离开你的本地环境。如果不允许，私有云或混合云模型可以让敏感部分保持在你的控制之下。
云存储适合存储抓取数据吗？
是的。爬取数据增长迅速，需要共享，并且受益于自动备份，这些都是云很好处理的。对象存储将原始和解析后的输出持久地保存在一个随时可查询的地方，弹性容量能够承载持续扩展的爬取任务，而无需购买硬件。
云存储的费用是多少？
你只需为实际使用的存储量和请求活动付费，无需预先的硬件支出，因此小型工作负载保持低成本，大型工作负载随需求扩展。对于频繁读取的数据，请求和出口活动可能超过静态字节的存储成本，因此以干净格式存储一次数据通常比反复重新抓取更便宜。
大规模爬取任何站点，无需与基础设施对抗。
Crawlbase 负责处理代理、指纹和 CAPTCHA，让你的团队专注于交付数据流水线，而非维护爬取管道。1,000 次请求免费，无需信用卡。