数据挖掘简明指南借助网络爬虫

数据挖掘听起来像是属于统计学家和数据科学家的事，但其核心是一个简单的想法：收集大量信息，清理它，寻找规律，然后根据发现采取行动。困难从来不在于分析本身，而在于一开始如何获取足够多的优质数据。这正是网络爬虫改变局面的地方：它将开放网络转变为一个可供挖掘的数据源，无需逐条手动复制记录。

本指南以通俗语言解释数据挖掘：它是什么、每个挖掘项目经历的步骤、分析师常用的技术，以及网络抓取如何为整个过程提供新鲜数据。读完之后，你应该了解一堆分散的网页是如何变成真正可以从中学习的数据集的，以及在负责任地收集数据时需要注意什么。

什么是数据挖掘？

数据挖掘，有时也称为数据库中的知识发现，是通过挖掘大量数据来寻找乍看之下并不明显的规律、关系和趋势的过程。这个术语诞生于 1990 年代初，当时的目标与现在相同：利用已经发生的事情来预测接下来可能发生的事情。零售商通过挖掘历史销售数据来预测需求。银行通过挖掘交易记录来发现欺诈。流媒体服务通过挖掘观看习惯来决定推荐什么。

这个学科借鉴了多个领域，主要是统计学和分析学，以及越来越多来自人工智能和机器学习的方法，这些方法如今在非常大的数据集上承担了大量繁重工作。但你不需要研究背景就能从中受益。核心循环是直觉上可以理解的，工具也已经成熟到任何愿意学习几个基础知识的人都可以进行数据收集和分析的程度。

变化最大的是规模。全球创建的数据总量在 2020 年代初就已达到数十泽字节，并持续逐年增长。没有人类团队能够手动读完这些，因此自动化使挖掘成为可能，这一点对数据收集和数据处理都同样适用。

数据挖掘的步骤

无论主题如何，一个挖掘项目往往遵循相同的弧线。跳过某个步骤很少能节省时间，只是把问题推到下游。以下是大多数项目经历的循环，从原始收集到一个你可以站得住脚的决策。

第 1 步：采集数据

一切从收集开始。你决定想要回答什么问题，然后收集可能蕴含答案的数据。其中一部分存在于你自己的系统中，例如销售记录、支持工单或应用日志。大量数据存在于公开网络上：产品列表、价格、评论、招聘信息、新闻、目录条目等等。网络上可用的数据量和种类之多，正是为什么网络抓取已成为现代数据挖掘核心的原因，我们稍后会回到这个话题。

第 2 步：清洗与准备数据

原始数据几乎从来都不是分析就绪的状态。记录到来时会有缺失字段、重复行、格式不一致，以及偶尔出现的无意义数据。清理是那个不那么光鲜的步骤，你在这里修复或删除这些问题：标准化日期和单位、去重、填充或删除空缺、以及将来自不同来源的同一事物的两种不同描述方式加以调和。分析师们常说这个阶段会占用项目的大部分时间，他们通常是对的。回报在于：这之后的所有工作都变得可信。

第 3 步：发现规律

有了干净的数据，你就开始寻找结构。这是大多数人在听到"数据挖掘"时所想到的部分：对相似记录进行分组、发现相关性、标记异常值，以及构建预测结果的模型。你可能对客户进行分群、找出哪些产品搭配销售、或者估算下个月的需求。技术各有不同，但目标是一样的：将行列数据转化为你能够理解的东西。

第 4 步：据发现采取行动

没有人使用的规律是浪费精力。最后一步是将洞察付诸实践：调整价格、重新分配库存、收紧欺诈检测，或者将结果输入到一个团队每天早上查看的仪表板。好的挖掘项目保持这个循环运转，因为数据在不断变化，上个季度的模型会逐渐过时。收集为清理提供素材，清理为分析提供素材，分析为行动提供素材，而行动又引发新的问题，推动你回到收集阶段。

常见的数据挖掘技术

在"寻找规律"这个步骤中，有一套成熟的技术工具箱。你不需要掌握所有技术才能开始，但了解每种技术的用途有助于你将方法与问题相匹配。

分类

分类将记录归入预定义的类别：垃圾邮件或非垃圾邮件、欺诈或合法、可能流失或不会流失。你用已经贴标签的样本训练一个模型，它学会为从未见过的新记录分配正确的标签。

聚类

聚类在没有任何预定义标签的情况下，将相互相似的记录归为一组。客户分群通常就是这样工作的：算法在行为或人口统计数据中找到自然的分组，然后由你来决定每个簇代表什么。当你事先不知道存在哪些类别时，它特别有用。

关联规则挖掘

关联规则挖掘找出倾向于同时出现的事物。经典示例是购物篮分析，发现购买某一产品的顾客通常也会购买另一种产品，这就是"经常一起购买"推荐背后的逻辑。

回归分析

回归预测的是一个数字而非类别：下个月的营收、客户的终身价值、房产应该挂出的价格。它对输入和连续结果之间的关系建模，是预测和需求规划的基础。

异常检测

异常检测学习正常情况的样子，然后标记偏离它的任何事物。它是欺诈警报、入侵检测和生产线质量控制的核心引擎。一旦模型知道了通常的规律，异常就会自行显现。

网页抓取：网络如何为数据挖掘供料

挖掘的好坏取决于你输入的数据，而越来越多的项目中，这些数据存在于公开网络上。问题在于网页是为人眼设计的，而非为分析而设计：你想要的信息被包裹在布局中，分散在多个页面上，并不断刷新。手动复制无法扩展到超过少数几条记录。

网络爬虫解决了这个问题。它自动从目标网站提取数据，以结构化形式返回，供你存储和分析。爬虫不是由人来阅读和重新输入，而是自动抓取页面，提取重要字段，写入已为清理步骤准备好的行。收集阶段不再是瓶颈。

抓取并非毫不费力。大多数网站不欢迎自动化流量，许多网站还运行着封锁看起来机械化或来自同一地址过于频繁的请求的机器人检测系统。CAPTCHA 和速率限制的存在就是为了阻止爬虫，这就是为什么一个简单的脚本往往抓了几页就卡住了。处理轮换、重试和 JavaScript 密集页面的渲染，正是将一个周末写的脚本与可靠数据源区别开来的地方。我们关于不被封锁地进行抓取的说明涵盖了常见障碍。

选择采集数据的工具

由于收集驱动着管道的其余部分，你选择的工具很重要。你可以从头构建一个爬虫，但一个现成的工具可以节省时间，尤其是如果你不写代码。在做出承诺之前，有几个因素值得权衡。

易用性

工具的全部意义在于让收集更容易，所以它本身不应该成为一个项目。寻找清晰的文档和一个你可以遵循而无需逆向工程的工作流程。花在学习工具上的时间，就是没花在数据上的时间。

可扩展性

网络上的数据量只会增长，所以一个对一百个页面有效但到十万个页面就撑不住的工具会拖累你。如果你的项目有任何扩展的可能，选择无需重写即可扩展的工具。

应对封禁与 CAPTCHA

如上所述，机器人检测是可靠收集的主要障碍。一个好工具会替你处理 CAPTCHA 和速率限制，通常通过轮换代理，这样单一来源的防御就不会在中途阻断你的任务。

透明定价

费用应该在你注册之前就清晰明了，没有隐藏在细则中的意外费用。运营自己的抓取基础设施既昂贵又繁琐，这就是为什么许多团队使用托管服务，但只有定价诚实、可预期的服务才值得使用。

客户支持

当某些东西出了问题，而某个时候总会出问题，响应及时的支持是快速解决与项目卡壳之间的区别。这对于抓取工具来说更重要，因为大部分机制是在幕后运行的。

要更广泛地了解各种工具，我们对最佳网络抓取工具的汇总，按照这些标准对它们进行了比较。

挖掘到的数据能用来做什么

一旦循环运转起来，应用几乎跨越每个行业。以下几个最常见的应用，说明了为什么团队会在挖掘上投入资源。

• 了解客户。挖掘客户的浏览、购买和咨询内容，揭示偏好和习惯，从而锐化营销、产品决策和服务，让人们持续回来。
• 发现欺诈。通过学习资金和账户通常如何流动，挖掘可以标记异常案例（如一批可疑的理赔或交易），并在欺诈蔓延之前帮助阻止它。
• 改善供应链。挖掘运营数据，找出事情在哪里放缓或成本过高，让公司修复瓶颈并以更低成本更快交付。
• 选择地点。结合人口统计、收入和周边商业数据，找到开设商店、办公室或仓库的最佳地点，这种做法通常被称为位置智能。
• 预测需求。基于历史数据构建的模型，预测企业下一步需要什么，帮助它避免短缺和浪费，并将资源投入到可能带来回报的地方。

将这些联系在一起的是稳定到来且保持最新的数据，其中大部分来自网络，这就是为什么抓取和挖掘始终相伴而生。

负责任地抓取

挖掘网络数据伴随着义务。只收集公开数据，遵守每个网站的服务条款及其 robots.txt，保持合理的请求速率，不要对你所依赖的服务器造成压力。当数据涉及个人时，GDPR 和 CCPA 等隐私法律适用：只收集你需要的内容，避免建立个人档案，将个人详情以汇总形式存储而非以原始形式保存。负责任的收集不仅关乎避免麻烦；它还能使你的数据集保持干净，不含你本不应持有的材料，这使下游的一切都更加简单。

一个小例子

为了让收集步骤更具体，以下是一个尽可能小的抓取请求示例。许多托管 API 都遵循相同的形式：一个端点、你的令牌和目标 URL。

# endpoint + token + the page you want to mine
https://api.crawlbase.com/?token=YOUR_CRAWLBASE_TOKEN&url=https%3A%2F%2Fexample.com%2Fproducts

目标 URL 经过编码，以防其特殊字符干扰请求。将这样一行粘贴到浏览器或终端中，你就会收到返回的页面内容，准备好被解析成行。用几行 Python 或 Node 将其包裹成循环遍历多个页面，一次性查找就成长为真正的数据源。

从抓取的数据到可用的数据集

收集页面只是开始，而不是结束。抓取到的数据以杂乱的方式到达，字段名因网站而异、类型混杂、结构不一致，这正是为什么存在清理步骤的原因。给这份原始提取物一个一致的形状，才是将一个充满 HTML 的文件夹转化为你可以查询和建模的东西。对于从提取到分析之间的工作，我们的为 AI 和 ML 构建和清理网络抓取数据指南介绍了实际步骤，当数据量增大时，我们关于构建可扩展网络数据管道的详细说明展示了收集、清理和挖掘如何组合在一起。

常见问题

通俗来说，数据挖掘是什么？

数据挖掘是通过大量数据寻找有用规律、关系和趋势的过程。基本思路是利用已经发生的事情（如过去的销售或过去的行为）来理解现状并预测接下来可能发生的事情。结果可能是一个客户分群、一个欺诈警报或一个需求预测，任何能将原始记录转化为可采取行动的决策的东西。

数据挖掘的主要步骤有哪些？

大多数项目经历四个步骤：从自有系统或网络收集数据，清理和准备数据使其一致且可信，使用聚类或回归等技术分析数据以寻找规律，然后对结果采取行动。由于数据不断变化，这个循环会不断重复，因此模型和洞察需要随时间刷新。

网页抓取与数据挖掘有何关联？

当你的数据存在于公开网络上时，网络抓取处理收集步骤。爬虫自动抓取页面并将你关心的字段提取成结构化形式，这样你就不必手动复制记录。这为挖掘过程提供了稳定的新鲜数据供给，规模是手动收集永远无法达到的。

挖掘网络数据需要会编程吗？

不一定。有很多工具让你几乎不需要代码甚至完全不需要代码就能收集和分析数据，从点击式爬虫到可从浏览器调用的托管 API。写一点 Python 或 Node 确实能提供更多灵活性，尤其是在清理和自动化方面，但你可以在不写代码的情况下获得有意义的结果，并随着项目需求的增加逐步提升技能。

为数据挖掘而抓取数据合法吗？

抓取公开可用数据通常是被接受的，但有条件。遵守每个网站的服务条款及其 robots.txt，保持合理的请求速率，避免收集登录信息或付费墙后面的数据。当数据涉及个人时，GDPR 和 CCPA 等隐私法律适用，因此只收集你需要的内容，并将个人详情汇总而非对个人进行画像。

数据挖掘项目最难的部分是什么？

大多数从业者指出两件事：获取足够多的优质数据和清理数据。当网站封锁自动化流量时，收集就会陷入困境，这正是一个能干的爬虫或托管 API 展现价值的地方。清理是那个悄悄消耗最多时间的步骤，因为原始数据到来时有空缺、重复项和不一致的格式，所有这些都必须在任何分析可以被信任之前加以调和。

IK

Ian Kalvin

技术支持工程师 · Crawlbase

Crawlbase 技术支持工程师，从生产环境抓取与代理配置中真正出问题的第一线写作。