Clutch.co 是一个通过公司简介、客户评论和市场报告将企业与服务提供商联系起来的平台。Clutch.co 列出了数千家公司，拥有宝贵的商业服务数据，可用于潜在客户开发和市场研究。通过使用 Clutch.co 抓取工具，您可以抓取 Clutch.co 数据并做出明智的业务决策。

在本博客中，我们将引导您完成创建 Python Clutch.co 爬虫的过程。我们将介绍从设置环境到使用以下工具优化爬虫的所有内容： 爬虫库 Crawling API.

目录

为什么选择 Scrape Clutch.co？

抓取 Clutch.co 数据有很多好处，尤其是对于想要战略性地使用数据的企业来说。以下是使用 Clutch.co 抓取工具的原因：

这张图展示了构建 Clutch.co Python 抓取工具的重要性

综合商业服务数据：

Clutch.co 拥有各行各业 150,000 多家服务提供商的资料。抓取这些数据可让您获取有关竞争对手和潜在合作伙伴的信息。

客户评论和评分：

客户反馈是服务质量的关键。抓取评论和评分可帮助您评估业务并做出更好的合作或投资决策。

领先一代：

从 Clutch.co 抓取联系信息和服务详情可以增强您的潜在客户挖掘工作。这些数据可帮助您找到潜在客户或合作伙伴并简化您的推广工作。

市场分析：

通过从多个服务提供商抓取数据，您可以了解市场趋势、定价策略和服务产品。这对于制定竞争策略和定位您的业务非常有用。

定制数据提取：

Python Clutch.co 抓取工具允许自定义数据提取。您可以定位特定类别、地区或服务类型，并根据您的业务需求定制数据。

效率和自动化：

自动化数据提取过程可节省时间和资源。与手动收集数据相比，爬虫可以快速准确地收集大量数据。

通过使用 Python Clutch.co 抓取工具，企业可以通过明智的决策和高效的数据管理获得竞争优势。

Clutch.co 上的关键数据点

抓取 Clutch.co 会给你带来很多有价值的数据。以下是你可以利用 Clutch.co 抓取工具从 Clutch.co 抓取的一些数据点：

该图片展示了从 Clutch.co 抓取的关键数据点

使用 Python Clutch.co 抓取工具，您可以获取所有这些数据并将其组织起来，以便做出更好的业务决策。此数据收集将促进您的潜在客户生成，并让您更好地了解竞争对手

设置您的环境

要构建 Clutch.co 抓取工具，您首先需要设置环境。请按照以下步骤开始。

安装Python

在抓取 Clutch.co 数据之前，您需要在机器上安装 Python。Python 是一种功能强大且用途广泛的编程语言，非常适合网页抓取任务。

下载Python：去吧 Python网站 并下载最新版本的Python。

安装Python：按照操作系统的安装说明进行操作。确保在安装过程中选中将 Python 添加到系统 PATH 的复选框。您可以打开终端或命令提示符并输入以下命令来检查 Python 是否已正确安装。

1
python --version

所需的 Python 库

安装 Python 后，您需要安装可帮助您构建 Clutch.co 抓取工具的库。这些库是请求、BeautifulSoup 和 pandas。

安装请求：该库允许您向 Clutch.co 发送 HTTP 请求并接收响应。

1
点安装请求

安装 BeautifulSoup：这个库帮助你解析 HTML 并从网页中提取数据。

1
点安装beautifulsoup4

安装 Pandas：这个库对于组织和保存抓取的数据到 CSV 文件中很有用。

1
pip 安装熊猫

这些库将为您提供抓取 Clutch.co 数据所需的工具。通过正确设置环境，您可以专注于为 Clutch.co 抓取工具编写代码，优化潜在客户生成和业务服务数据提取的工作流程。

接下来，我们将通过检查 Clutch.co 网页来了解我们需要抓取的数据的结构，从而构建 Clutch.co 抓取工具。

构建 Clutch.co 抓取工具

在本节中，我们将构建 Clutch.co 抓取工具。我们将检查 Clutch.co 网页、编写 Python 脚本、提取关键业务服务数据、处理分页并将数据保存到 CSV 文件中。

检查 Clutch.co 网页

首先，我们需要了解 Clutch.co 网页的结构。访问列出企业的页面，然后使用浏览器的开发人员工具（通常使用 F12 打开）检查 HTML 结构。

Clutch.co 网页代码检查截图

确定包含要抓取的数据的元素，例如 公司名称、网站网址、评分、评论数量、提供的服务和位置.

编写 Clutch.co 抓取工具

现在，让我们编写 Python 脚本来抓取 Clutch.co 数据。我们将使用 requests 库来获取 HTML 内容和 BeautifulSoup 来解析它。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
进口 要求
在 bs4 进口 美丽汤
进口 大熊猫 as pd
进口 re

# 获取 HTML 内容的函数
DEF 获取html(网址):
    响应 = requests.get(url)
    if 响应.status_code == 200:
        回报 响应文本
    其他:
        打印(f“无法检索页面。状态代码： {响应.status_code}")
        回报 没有

# 解析 HTML 并提取数据的函数
DEF 解析html(HTML):
    汤 = BeautifulSoup(html, 'html.parser')
    数据 = []

    公司=汤。选择（‘ul.providers__list > li.provider’)
      公司 in 公司：
        名称 = 公司.select_one（‘h3.provider__title’)
        名称 = 名称.文本.strip() if 姓名 其他 “不适用”

        网站 = 公司.select_one（‘a.provider__cta-link.website-link__item’)
        website = 网站['href'] if 官网 其他 “不适用”

        评级=公司.select_one（‘span.sg-rating__number’)
        评级 = 评级.文本.条带（） if 等级 其他 “不适用”

        评论=公司.select_one（‘a.sg-rating__reviews’)
        评论 = re.sub（r'\s+', '', 评论.文本.条形码()) if 评论 其他 “不适用”

        服务 = 公司.选择（'div.provider__services-滑块 ul.provider__services-列表 li.provider__services-列表项')
        服务 = '/'.join([重新加入(r'\s+', ''，服务.文本.strip（））   服务 in 服务]） if 服务 其他 “不适用”

        位置 = 公司.select_one（'li.provider__highlights-item.location 跨度.locality')
        位置 = 位置.文本.条带（） if 地址 其他 “不适用”

        数据.附加（{
            '公司名称'： 姓名，
            '网站'： 网站，
            '评分'： 评分，
            “评论数量”：评论，
            “提供的服务”： 服务，
            '地点'： 地点
        })

    回报 data

该脚本包括一个 fetch_html 函数从给定的 URL 检索 HTML 内容，并通过验证状态代码来检查请求是否成功。如果成功，则返回 HTML 内容；否则，则打印错误消息。

这款 parse_html 然后，函数处理此 HTML 内容。它创建一个 BeautifulSoup 对象来解析 HTML，并初始化一个空列表来存储提取的数据。该函数使用 CSS 选择器选择包含公司详细信息的相关 HTML 元素。对于每家公司，它提取名称、网站 URL、评级、评论数量、提供的服务和位置。它还确保使用正则表达式清除提取文本中的任何多余空格。最后，它将这些数据编译成每家公司的字典，并将其附加到数据列表中。然后返回包含有关每家公司的结构化信息的字典列表。

处理分页

Clutch.co 在多个页面上列出企业。要从所有页面抓取数据，我们需要处理分页。Clutch.co 使用 &page 查询参数来管理分页。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
DEF scrape_clutch_data(base_url，页面):
    所有数据 = []
      页 in 范围(1、页面 + 1):
        网址= f"{base_url}?页面={页}"
        html = fetch_html(url)
        if 的HTML：
            数据 = 解析_html（html）
            all_data.扩展（数据）
        其他:
            打破
    回报 全部数据

基本网址 = 'https://clutch.co/it-services'
页数 = 5  # 要抓取的页面数
数据 = scrape_clutch_data (base_url，页面)

将数据保存为 CSV

一旦我们抓取了数据，我们就可以使用 pandas 图书馆。

1
2
3
4
# 将数据保存到 CSV
df = pd.DataFrame(数据)
df.to_csv(‘离合器数据.csv’, 索引=假)
打印(“数据已保存至 clutch_data.csv”)

完整的代码

以下是 Clutch.co 抓取工具的完整代码：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
进口 要求
在 bs4 进口 美丽汤
进口 大熊猫 as pd
进口 re

# 获取 HTML 内容的函数
DEF 获取html(网址):
    响应 = requests.get(url)
    if 响应.status_code == 200:
        回报 响应文本
    其他:
        打印(f“无法检索页面。状态代码： {响应.status_code}")
        回报 没有

# 解析 HTML 并提取数据的函数
DEF 解析html(HTML):
    汤 = BeautifulSoup(html, 'html.parser')
    数据 = []

    公司=汤。选择（‘ul.providers__list > li.provider’)
      公司 in 公司：
        名称 = 公司.select_one（‘h3.provider__title’)
        名称 = 名称.文本.strip() if 姓名 其他 “不适用”

        网站 = 公司.select_one（‘a.provider__cta-link.website-link__item’)
        website = 网站['href'] if 官网 其他 “不适用”

        评级=公司.select_one（‘span.sg-rating__number’)
        评级 = 评级.文本.条带（） if 等级 其他 “不适用”

        评论=公司.select_one（‘a.sg-rating__reviews’)
        评论 = re.sub（r'\s+', '', 评论.文本.条形码()) if 评论 其他 “不适用”

        服务 = 公司.选择（'div.provider__services-滑块 ul.provider__services-列表 li.provider__services-列表项')
        服务 = '/'.join([重新加入(r'\s+', ''，服务.文本.strip（））   服务 in 服务]） if 服务 其他 “不适用”

        位置 = 公司.select_one（'li.provider__highlights-item.location 跨度.locality')
        位置 = 位置.文本.条带（） if 地址 其他 “不适用”

        数据.附加（{
            '公司名称'： 姓名，
            '网站'： 网站，
            '评分'： 评分，
            “评论数量”：评论，
            “提供的服务”： 服务，
            '地点'： 地点
        })

    回报 data

# 处理分页和抓取多个页面的函数
DEF scrape_clutch_data(base_url，页面):
    所有数据 = []
      页 in 范围(1、页面 + 1):
        网址= f"{base_url}?页面={页}"
        html = fetch_html(url)
        if 的HTML：
            数据 = 解析_html（html）
            all_data.扩展（数据）
        其他:
            打破
    回报 全部数据

基本网址 = 'https://clutch.co/it-services'
页数 = 5  # 要抓取的页面数
数据 = scrape_clutch_data (base_url，页面)

# 将数据保存到 CSV
df = pd.DataFrame(数据)
df.to_csv(‘离合器数据.csv’, 索引=假)
打印(“数据已保存至 clutch_data.csv”)

备注：由于 Cloudflare 保护，Clutch.co 可能会检测到您的请求并阻止其状态为 403 的请求。要绕过此问题，请考虑使用 Crawlbase Crawling API.

clutch_data.csv 文件快照：

CSV 输出文件快照

在本节中，我们展示了如何使用 Python 构建 Clutch.co 抓取工具。我们介绍了如何检查网页、编写抓取脚本、处理分页以及将数据保存到 CSV 文件。此 Clutch.co 抓取工具可用于提取业务服务数据，以用于潜在客户生成和其他目的。

使用 Crawlbase 优化 Clutch.co Scraper Crawling API

为了使我们的 Clutch.co 抓取工具更加高效和强大，我们可以集成 爬虫库 Crawling API。这将有助于管理复杂的抓取任务、轮换 IP 和绕过限制。以下是使用 Crawlbase 优化 Clutch.co 抓取工具的步骤。

安装 Crawlbase 库：首先，您需要安装 Crawlbase 库。您可以使用 pip 执行此操作：

1
点安装爬虫库

安装该库后，您可以使用 Crawlbase 来处理请求并更有效地抓取 Clutch.co 数据。

导入库：除了前面的库之外，还要导入Crawlbase。

1
2
3
4
在 bs4 进口 美丽汤
进口 大熊猫 as pd
进口 re
在 爬行基地 进口 抓取API

设置 Crawlbase API：初始化 Crawlbase Crawling API 使用您的令牌。您可以通过在 Crawlbase 上创建一个帐户来获取一个令牌。Crawlbase 提供两种类型的令牌：用于静态网站的普通令牌和用于处理动态或基于浏览器的请求的 JavaScript (JS) 令牌。对于 Clutch.co，您需要 JS 令牌。前 1,000 个请求是免费的，无需信用卡即可开始使用。

1
爬行 API = 爬行 API({ '令牌': 'CRAWLBASE_JS_TOKEN' })

定义函数来发出请求：创建一个函数来使用 Crawlbase 处理请求。

1
2
3
4
5
6
7
8
DEF make_crawlbase_request(网址):
    响应=crawling_api.get(url)
    if 回复[“标题”]['pc_status'] == '200':
        html_内容=响应['身体']。解码（'utf-8')
        回报 html_内容
    其他:
        打印(f"无法获取页面。Crawlbase 状态代码: {回复[“标题”]['pc_status']}")
        回报 没有

修改 Scraper 以使用 Crawlbase：更新抓取工具以使用 Crawlbase 请求功能。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
# 解析 HTML 并提取数据的函数
DEF 解析html(HTML):
    ＃ 和之前一样

# 处理分页和抓取多个页面的函数
DEF scrape_clutch_data(base_url，页面):
    所有数据 = []
      页 in 范围(1、页面 + 1):
        网址= f"{base_url}?页面={页}"
        html = make_crawlbase_request（网址）
        if 的HTML：
            数据 = 解析_html（html）
            all_data.扩展（数据）
        其他:
            打破
    回报 全部数据

基本网址 = 'https://clutch.co/it-services'
页数 = 5  # 要抓取的页面数
数据 = scrape_clutch_data (base_url，页面)

# 将数据保存到 CSV
df = pd.DataFrame(数据)
df.to_csv(‘离合器数据.csv’, 索引=假)
打印(“数据已保存至 clutch_data.csv”)

通过使用 Crawlbase Crawling API 使用 Python Clutch.co 抓取工具，您可以处理复杂的任务并避免 IP 禁令。这将使您能够更有效地抓取 Clutch.co 数据，并使您的业务服务和潜在客户生成数据收集更加可靠和可扩展。

使用 Crawlbase 构建 Clutch.co Scraper

创建 Clutch.co 爬虫可以成为收​​集业务服务数据和生成潜在客户的强大工具。通过使用 Python 和 BeautifulSoup 和请求等库，您可以提取有关公司、评级、评论等的宝贵信息。集成 Crawlbase Crawling API 可以进一步优化您的抓取工具，使其更加高效和可靠。

构建 Clutch.co 抓取工具不仅有助于收集数据，还有助于分析行业趋势和竞争对手的见解。这些信息对于做出明智的业务决策和推动增长至关重要。

如果您想扩展您的网络抓取功能，请考虑探索我们以下有关抓取其他重要网站的指南。

📜 如何抓取谷歌财经
📜 如何抓取 Google 新闻
📜 如何抓取谷歌学术搜索结果
📜 如何抓取 Google 搜索结果
📜 如何抓取谷歌地图
📜 如何抓取雅虎财经
📜 如何刮 Zillow

如果您有任何问题或反馈，我们的 支持团队 随时为您的网络抓取之旅提供帮助。快乐刮擦！

常见问题

抓取 Clutch.co 数据必须符合其服务条款。通常，抓取公开数据用于个人用途、研究和非商业目的是允许的。但是，出于商业目的或违反网站条款进行抓取可能会导致法律问题。请务必查看您正在抓取的网站的服务条款和隐私政策，并确保您没有侵犯任何用户的权利或违反数据保护法。遵守 Clutch.co 的服务条款以避免法律问题。

问：如何使用 Python 从 Clutch.co 抓取数据？

要使用 Python 从 Clutch.co 抓取数据，首先要安装必要的库，如请求和 BeautifulSoup。编写一个脚本，向 Clutch.co 发送 HTTP 请求，获取 HTML，并使用 BeautifulSoup 对其进行解析。通过定位特定的 HTML 元素来提取公司详细信息、评级和评论。使用循环处理分页并抓取多个页面。对于大规模抓取，请集成 Crawlbase Crawling API 以提高性能并避免 IP 禁令。

问：如何使用 Python 从 Clutch.co 抓取评论？

要从 Clutch.co 抓取评论，请按照以下步骤操作：

  1. 检查页面：使用浏览器的开发人员工具检查公司简介页面上评论部分的 HTML 结构。记下包含评论的元素的 CSS 选择器。
  2. 获取 HTML：使用诸如请求或 urllib 之类的库向 Clutch.co URL 发送请求并获取页面的 HTML。
  3. 解析 HTML：使用 BeautifulSoup 库解析 HTML 并使用您记下的 CSS 选择器提取注释。
  4. 处理分页：找到下一页评论的链接并重复该过程以抓取所有页面。
  5. 按照规则：确保遵守 Clutch.co 的服务条款，以避免任何法律问题。