GoodFirms 是一个 B2B 平台，将企业与 IT 服务提供商和软件公司联系起来。GoodFirms 拥有数千个经过验证的公司资料、用户评论和详细信息，是决策者、研究人员和营销人员的一站式商店，可以研究行业趋势、查找竞争对手、单击搜索结果中的公司链接。单击搜索结果中的公司链接。或寻找合作伙伴。

截至 2023 年，GoodFirms 拥有超过 60,000 家公司简介和详细列表，涵盖软件开发、数字营销、移动应用开发等各个类别。该平台以其强大的搜索功能和透明的审核系统而闻名，这就是全球企业使用它的原因。

在本博客中，我们将指导您如何使用 Python 从 GoodFirms 网站抓取数据，以及 爬虫库 Crawling API。 让我们开始！

目录

  1. 为什么要抓取 GoodFirms 数据？
  2. 从 GoodFirms 中提取的关键数据点
  3. 爬虫库 Crawling API GoodFirms 抓取
  4. 为 GoodFirms 抓取做好准备
  • 所需工具和库
  • 设置 Python 环境
  1. 抓取 GoodFirms 搜索列表
  • 检查 HTML 以识别选择器
  • 编写 GoodFirms 搜索列表抓取工具
  • 处理分页
  • 将抓取的数据存储在 JSON 文件中
  • 完整代码示例
  1. 爬取 GoodFirms 公司简介页面
  • 检查 HTML 以识别选择器
  • 从 GoodFirms 资料中提取关键细节
  • 将配置文件数据存储在 JSON 文件中
  • 完整代码示例
  1. 总结
  2. 常见问题解答 (FAQs)

为什么要抓取 GoodFirms 数据？

抓取 GoodFirms 数据可以帮助企业、研究人员和开发人员。GoodFirms 是一个值得信赖的平台，拥有数千家公司简介和详细评论，其数据可用于多种用途：

  • 竞争对手分析：深入了解竞争对手的服务、定价和客户评论。
  • 领先一代：提取公司详细信息，如联系信息、服务和所服务行业。
  • 市场调查：通过观察表现最佳的公司和服务来分析行业趋势。
  • 建立数据库：为推荐引擎或 CRM 等应用程序创建 IT 服务提供商的结构化存储库。
  • 人才招聘：了解公司团队规模、服务行业和运营专业知识，以寻找合作或招聘机会。
  • 投资组合基准测试：了解公司投资组合和案例研究中项目成功的原因。
  • 趋势追踪：从详细的评论和提供的服务中研究客户偏好和需求模式。
  • 业务扩展：通过分析公司位置和区域服务，找到潜在的目标市场或地区。

借助 GoodFirm 的庞大数据集，您将拥有大量数据，可以做出数据驱动的决策。通过自动化提取过程，您可以节省时间并获得全面、最新的信息。

从 GoodFirms 中提取的关键数据点

抓取 GoodFirms 时，你需要提取能够洞悉公司及其服务的数据。下图显示了要提取的关键数据点：

该图显示了从 Goodfirms 网站抓取的关键数据点

爬虫库 Crawling API GoodFirms 抓取

爬虫库 Crawling API 非常适合抓取 GoodFirms 等静态网站。它处理代理、HTTP 标头并确保高数据准确性。使用 Crawlbase，您可以从 GoodFirms 搜索列表和公司资料页面中提取数据，而不必担心 IP 阻止或 CAPTCHA 挑战。

首先，安装 Crawlbase Python 库。使用以下命令：

1
点安装爬虫库

安装后，您将需要一个 API 令牌。您可以通过在 Crawlbase 网站上注册来获取令牌。此令牌将验证您的请求。

以下是初始化 Crawlbase 的方法 Crawling API 在Python中：

1
2
3
4
5
6
7
8
9
10
11
在 爬行基地 进口 抓取API

# 初始化 Crawlbase Crawling API
爬行 API = 爬行 API({'令牌': 'YOUR_CRAWLBASE_TOKEN'})

# 测试你的设置
响应=crawling_api.get（'https://www.goodfirms.co/companies')
if 回复[“标题”]['pc_status'] == '200':
    打印(“设置成功！您已准备好抓取 GoodFirms 数据。”)
其他:
    打印(f“连接失败。状态代码： {回复[“标题”]['pc_status']}")

请注意： Crawlbase 提供两种类型的令牌。一种是用于静态网站的普通令牌，另一种是用于 JS 呈现网站的 JS 令牌。对于 GoodFirms，普通令牌就可以了。Crawlbase 为其免费提供 1,000 个请求 Crawling API。 检查 文件 了解更多信息。

使用 Crawlbase，您可以轻松抓取数据，而不必担心 IP 被阻止或标头复杂等技术障碍。在下一节中，我们将介绍如何设置 Python 环境来抓取数据。

为 GoodFirms 抓取做好准备

在开始抓取 GoodFirms 数据之前，您需要设置正确的工具和库。本节将引导您完成安装所需库和设置 Python 环境以进行抓取的过程。

所需工具和库

要抓取 GoodFirms，你需要：

  1. Python ：由于其易于使用和强大的库，Python 是最好的网络抓取语言之一。
  2. Crawlbase Python 库：这将方便您的 Crawlbase Crawling API 调用。
  3. 美丽汤：一个用于解析 HTML 并从中提取数据的 Python 库。

安装 Python 和所需的库

如果你尚未安装 Python，请从这里下载： Python.org。安装后，您可以使用 pip 安装库。在终端中运行以下命令：

1
2
点安装爬虫库
点安装beautifulsoup4

这些库将允许你与 Crawlbase 进行交互 Crawling API，解析来自 GoodFirms 的 HTML 内容，并有效地处理请求。

如何选择适合网页抓取的 IDE

要编写抓取脚本，您可以使用任何集成开发环境 (IDE) 或文本编辑器。您可以选择一些流行的，例如 VS代码, PyCharm及 Jupyter笔记本.

抓取 GoodFirms 搜索列表

在这里，我们将介绍如何从 GoodFirms 抓取搜索列表。其中包括检查 HTML、编写抓取程序、处理分页以及将抓取的数据存储在 JSON 文件中。

检查 HTML 以识别选择器

在开始抓取之前，我们需要检查 GoodFirms 搜索列表页面的 HTML 结构，以获取用于提取数据的 CSS 选择器。 请按以下步骤操作：

  1. 打开 GoodFirms 搜索列表页面：转到 GoodFirms 上某个类别的搜索结果。
  2. 检查页面：右键单击页面并选择“检查”（或按 Ctrl + Shift + I).
检查 GoodFirms 搜索列表 HTML 结构的屏幕截图
  1. 识别相关数据：查找包含公司信息的 HTML 元素。常见数据点包括：
  • 公司名称：通常发现于 <h3> 带有类的标签 firm-name.
  • 地址: 通常在 <div> 元素与类 firm-location.
  • 服务类别：通常在 <div> 元素嵌套于 firm-content 并在班级标语下。
  • 评分：显示在 <span> 带有类的标签 rating-number.
  • 公司简介网址：发现于 <a> 带有类的标签 visit-profile.

一旦确定了相关的 CSS 选择器，我们就可以继续编写抓取工具。

编写 GoodFirms 搜索列表抓取工具

现在让我们编写抓取工具来从搜索列表页面中提取公司数据。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
在 bs4 进口 美丽汤
进口 JSON
在 爬行基地 进口 抓取API

# 使用您的访问令牌初始化 Crawlbase API
爬行 API = 爬行 API({'令牌': 'YOUR_CRAWLBASE_TOKEN'})

DEF make_crawlbase_request(网址):
    响应=crawling_api.get(url)

    if 回复[“标题”]['pc_status'] == '200':
        html_内容=响应['身体']。解码（'utf-8')
        回报 html_内容
    其他:
        打印(f"无法获取页面。Crawlbase 状态代码: {回复[“标题”]['pc_status']}")
        回报 没有

DEF 提取公司详细信息(公司):
    名称 = 公司.select_one（'h3.公司名称').text.strip() if 公司.select_one（'h3.公司名称') 其他 ''
    位置 = 公司.select_one（‘div.公司所在地’).text.strip() if 公司.select_one（‘div.公司所在地’) 其他 ''
    类别=公司.select_one（‘div.firm-content > div.tagline’).text.strip() if 公司.select_one（‘div.firm-content > div.tagline’) 其他 ''
    评级=公司.select_one（‘span.评级数字’).text.strip() if 公司.select_one（‘span.评级数字’) 其他 “无评级”
    链接 = 公司.select_one（'div.firm-urls > a.visit-profile')['href'] if 公司.select_one（'div.firm-urls > a.visit-profile') 其他 ''

    回报 {
        “名称”： 姓名，
        '地点'： 地点，
        “类别”： 类别，
        '评分'： 评分，
        ‘个人资料网址’： 关联
    }

DEF scrape_goodfirms_search_listings(网址):
    html_content = make_crawlbase_request（网址）
    if 而不去 html_内容：
        回报 []

    汤 = BeautifulSoup(html_content, 'html.parser')
    公司=汤。选择（‘ul.firm-directory-list > li.firm-wrapper’)
    公司数据 = []

      公司 in 公司：
        详细信息 = extract_company_details（公司）
        company_data.append（详细信息）

    回报 公司数据

# 用法示例
网址= “https://www.goodfirms.co/companies/web-development-agency/london”
数据 = scrape_goodfirms_search_listings(url)

处理分页

GoodFirms 使用 page URL 中的参数用于浏览搜索列表。要抓取所有页面，我们需要通过调整 page 参数。

我们可以这样修改爬虫来处理分页：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
DEF scrape_all_pages(base_url，页数=5):
    “从 GoodFirms 搜索列表中抓取多个页面。””
    所有数据 = []

      页 in 范围(1, 页数 + 1):
        网址= f"{base_url}?页面={页}"
        打印(f"抓取页面 {页}...“)
        数据 = scrape_goodfirms_search_listings(url)
        all_data.扩展（数据）

    回报 全部数据

# 示例用法：抓取 5 个页面
基本网址 = “https://www.goodfirms.co/companies/web-development-agency/london”
all_data = scrape_all_pages（base_url，num_pages=5)

将抓取的数据存储在 JSON 文件中

抓取数据后，必须将其存储为易于使用的格式。在本例中，我们将数据保存为 JSON 文件，以供日后使用或分析。

1
2
3
4
5
6
7
8
DEF 保存数据到json(数据，文件名='goodfirms_search_data.json'):
    """将抓取的数据保存到 JSON 文件。"""
    - open（文件名， 'w') as f:
        json.dump（数据，f，缩进=4)
    打印(f”数据保存至 {文档名称}")

# 用法示例
保存数据到json（所有数据）

- save_data_to_json 函数将数据存储为 JSON 文件，以便于加载到数据库或进一步处理。

完整代码示例

这是完整的数据抓取工具，它结合了从发出请求到处理分页以及将数据存储在 JSON 文件中的所有内容：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
在 bs4 进口 美丽汤
进口 JSON
在 爬行基地 进口 抓取API

# 使用您的访问令牌初始化 Crawlbase API
爬行 API = 爬行 API({'令牌': 'YOUR_CRAWLBASE_TOKEN'})

DEF make_crawlbase_request(网址):
    响应=crawling_api.get(url)

    if 回复[“标题”]['pc_status'] == '200':
        html_内容=响应['身体']。解码（'utf-8')
        回报 html_内容
    其他:
        打印(f"无法获取页面。Crawlbase 状态代码: {回复[“标题”]['pc_status']}")
        回报 没有

DEF 提取公司详细信息(公司):
    名称 = 公司.select_one（'h3.公司名称').text.strip() if 公司.select_one（'h3.公司名称') 其他 ''
    位置 = 公司.select_one（‘div.公司所在地’).text.strip() if 公司.select_one（‘div.公司所在地’) 其他 ''
    类别=公司.select_one（‘div.firm-content > div.tagline’).text.strip() if 公司.select_one（‘div.firm-content > div.tagline’) 其他 ''
    评级=公司.select_one（‘span.评级数字’).text.strip() if 公司.select_one（‘span.评级数字’) 其他 “无评级”
    链接 = 公司.select_one（'div.firm-urls > a.visit-profile')['href'] if 公司.select_one（'div.firm-urls > a.visit-profile') 其他 ''

    回报 {
        “名称”： 姓名，
        '地点'： 地点，
        “类别”： 类别，
        '评分'： 评分，
        ‘个人资料网址’： 关联
    }

DEF scrape_goodfirms_search_listings(网址):
    html_content = make_crawlbase_request（网址）
    if 而不去 html_内容：
        回报 []

    汤 = BeautifulSoup(html_content, 'html.parser')
    公司=汤。选择（‘ul.firm-directory-list > li.firm-wrapper’)
    公司数据 = []

      公司 in 公司：
        详细信息 = extract_company_details（公司）
        company_data.append（详细信息）

    回报 公司数据

DEF scrape_all_pages(base_url，页数=5):
    所有数据 = []

      页 in 范围(1, 页数 + 1):
        网址= f"{base_url}?页面={页}"
        打印(f"抓取页面 {页}...“)
        数据 = scrape_goodfirms_search_listings(url)
        all_data.扩展（数据）

    回报 全部数据

DEF 保存数据到json(数据，文件名='goodfirms_search_data.json'):
    - open（文件名， 'w') as f:
        json.dump（数据，f，缩进=4)
    打印(f”数据保存至 {文档名称}")

# 用法示例
基本网址 = “https://www.goodfirms.co/companies/web-development-agency/london”
all_data = scrape_all_pages（base_url，num_pages=5)
保存数据到json（所有数据）

示例输出：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
[
    {
        “名称”: “统一信息技术”,
        “地点”: “英国伦敦”,
        “类别”: “以先进技术推动数字化转型”,
        “评分”: “5.0”,
        “个人资料网址”: “https://www.goodfirms.co/company/unified-infotech”
    },
    {
        “名称”: “西格利”,
        “地点”: “英国伦敦”,
        “类别”: “标志性品质”,
        “评分”: “5.0”,
        “个人资料网址”: “https://www.goodfirms.co/company/sigli”
    },
    {
        “名称”: “闭环技术”,
        “地点”: “英国伦敦”,
        “类别”: “将绝妙的想法变成现实”,
        “评分”: “5.0”,
        “个人资料网址”: “https://www.goodfirms.co/company/closeloop-technologies”
    },
    {
        “名称”: “本能工具”,
        “地点”: “英国伦敦”,
        “类别”: “构建定制软件解决方案”,
        “评分”: “4.9”,
        “个人资料网址”: “https://www.goodfirms.co/company/instinctools”
    },
    {
        “名称”: “盐技术”,
        “地点”: “英国伦敦”,
        “类别”: “开发者的选择”,
        “评分”: “5.0”,
        “个人资料网址”: “https://www.goodfirms.co/company/salt-technologies”
    },
    .... 更多的
]

在下一部分中，我们将详细介绍如何抓取公司简介页面。

爬取 GoodFirms 公司简介页面

从 GoodFirms 抓取公司资料页面可以为您提供有关公司服务、专业知识、小时费率、员工人数等的更多信息。在本节中，我们将详细介绍如何提取此类数据、存储这些数据，并编写完整的代码示例供您实现。

检查 HTML 以识别选择器

抓取公司资料的第一步是了解资料页面的结构。请按照以下步骤检查页面：

  1. 打开公司简介页面：点击搜索结果中的公司链接。
  2. 检查页面：右键单击页面并选择“检查”（或按 Ctrl + Shift + I).
检查 GoodFirms 公司简介页面 HTML 结构的屏幕截图
  1. 识别相关数据：查找包含公司信息的 HTML 元素。常见数据点包括：
  • 公司名称：位于 <h1> 带有属性的标签 itemprop="name".
  • 描述：发现于 <div> 与班级 profile-summary-text.
  • 每小时收费：位于 <div> 与班级 profile-pricing 以及嵌套的 <span> 标签。
  • 员工人数：发现于 <div> 与班级 profile-employees 以及嵌套的 <span> 标签。
  • 成立时间：部分 <div> 与班级 profile-founded 以及嵌套的 <span> 标签。
  • 提供的服务: 摘自 <ul> 与班级 services-chart-list，其中 <button> 标签包含 data-name 属性。

从 GoodFirms 资料中提取关键细节

以下是如何使用 Python 的 Crawlbase 从 GoodFirms 公司资料页面中提取基本详细信息 Crawling API 和BeautifulSoup：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
在 bs4 进口 美丽汤
在 爬行基地 进口 抓取API
进口 re

# 使用您的访问令牌初始化 Crawlbase API
爬行 API = 爬行 API({'令牌': 'YOUR_CRAWLBASE_TOKEN'})

DEF make_crawlbase_request(网址):
    """使用 Crawlbase 获取页面的 HTML 内容。"""
    响应=crawling_api.get(url)

    if 回复[“标题”]['pc_status'] == '200':
        html_内容=响应['身体']。解码（'utf-8')
        回报 html_内容
    其他:
        打印(f"无法获取页面。Crawlbase 状态代码: {回复[“标题”]['pc_status']}")
        回报 没有

DEF 提取个人资料详细信息(html_内容):
    """从公司简介页面中提取详细信息。"""
    汤 = BeautifulSoup(html_content, 'html.parser')

    名称 = 汤.select_one（'h1[itemprop="名称"]').text.strip() if 汤.select_one('h1[itemprop="名称"]') 其他 “不适用”
    描述 = re.sub（r'\s+', '', 汤.select_one(‘div.profile-摘要文本’).text.strip()) if 汤.select_one(‘div.profile-摘要文本’) 其他 “不适用”
    hourly_rate = soup.select_one(‘div.profile-pricing > span’).text.strip() if 汤.select_one(‘div.profile-pricing > span’) 其他 “不适用”
    员工数量 = soup.select_one(‘div.profile-employees > span’).text.strip() if 汤.select_one(‘div.profile-employees > span’) 其他 “不适用”
    创立年份 = soup.select_one(‘div.profile-founded > span’).text.strip() if 汤.select_one(‘div.profile-founded > span’) 其他 “不适用”
    服务 = [项目[‘数据名称’]   项目 in 汤.选择(“ul.services-chart-list 按钮”)]

    回报 {
        “名称”： 姓名，
        '描述'： 描述，
        ‘小时费率’：小时费率，
        ‘员工数量’：员工数量，
        ‘成立年份’：成立年份，
        ‘服务’: 服务
    }

DEF scrape_company_profiles(profile_urls):
    """抓取多家公司资料。"""
    配置文件数据 = []

      网址 in 个人资料网址：
        打印(f”刮削轮廓： {网址}")
        html_content = make_crawlbase_request（网址）
        if html_内容：
            详细信息 = extract_profile_details（html_content）
            Profiles_data.append（详细信息）

    回报 配置文件数据

# 用法示例
个人资料网址 = [
    “https://www.goodfirms.co/company/unified-infotech”,
    “https://www.goodfirms.co/company/sigli”
]

配置文件数据 = scrape_company_profiles（配置文件网址）

将配置文件数据存储在 JSON 文件中

提取的数据可以以结构化格式（例如 JSON）存储，以便于处理和将来使用。

1
2
3
4
5
6
7
8
9
10
进口 JSON

DEF 保存配置文件到 JSON(数据，文件名=‘goodfirms_profiles.json’):
    """将公司资料数据保存到 JSON 文件。"""
    - open（文件名， 'w') as f:
        json.dump（数据，f，缩进=4)
    打印(f“配置文件数据已保存至 {文档名称}")

# 用法示例
保存配置文件到 JSON（配置文件数据）

完整代码示例

以下是完整的实现，包括获取、提取和存储配置文件数据：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
在 bs4 进口 美丽汤
进口 JSON
在 爬行基地 进口 抓取API
进口 re

# 使用您的访问令牌初始化 Crawlbase API
爬行 API = 爬行 API({'令牌': 'YOUR_CRAWLBASE_TOKEN'})

DEF make_crawlbase_request(网址):
    """使用 Crawlbase 获取页面的 HTML 内容。"""
    响应=crawling_api.get(url)

    if 回复[“标题”]['pc_status'] == '200':
        html_内容=响应['身体']。解码（'utf-8')
        回报 html_内容
    其他:
        打印(f"无法获取页面。Crawlbase 状态代码: {回复[“标题”]['pc_status']}")
        回报 没有

DEF 提取个人资料详细信息(html_内容):
    """从公司简介页面中提取详细信息。"""
    汤 = BeautifulSoup(html_content, 'html.parser')

    名称 = 汤.select_one（'h1[itemprop="名称"]').text.strip() if 汤.select_one('h1[itemprop="名称"]') 其他 “不适用”
    描述 = re.sub（r'\s+', '', 汤.select_one(‘div.profile-摘要文本’).text.strip()) if 汤.select_one(‘div.profile-摘要文本’) 其他 “不适用”
    hourly_rate = soup.select_one(‘div.profile-pricing > span’).text.strip() if 汤.select_one(‘div.profile-pricing > span’) 其他 “不适用”
    员工数量 = soup.select_one(‘div.profile-employees > span’).text.strip() if 汤.select_one(‘div.profile-employees > span’) 其他 “不适用”
    创立年份 = soup.select_one(‘div.profile-founded > span’).text.strip() if 汤.select_one(‘div.profile-founded > span’) 其他 “不适用”
    服务 = [项目[‘数据名称’]   项目 in 汤.选择(“ul.services-chart-list 按钮”)]

    回报 {
        “名称”： 姓名，
        '描述'： 描述，
        ‘小时费率’：小时费率，
        ‘员工数量’：员工数量，
        ‘成立年份’：成立年份，
        ‘服务’: 服务
    }

DEF scrape_company_profiles(profile_urls):
    """抓取多家公司资料。"""
    配置文件数据 = []

      网址 in 个人资料网址：
        打印(f”刮削轮廓： {网址}")
        html_content = make_crawlbase_request（网址）
        if html_内容：
            详细信息 = extract_profile_details（html_content）
            Profiles_data.append（详细信息）

    回报 配置文件数据

DEF 保存配置文件到 JSON(数据，文件名=‘goodfirms_profiles.json’):
    """将公司资料数据保存到 JSON 文件。"""
    - open（文件名， 'w') as f:
        json.dump（数据，f，缩进=4)
    打印(f“配置文件数据已保存至 {文档名称}")

# 用法示例
个人资料网址 = [
    “https://www.goodfirms.co/company/unified-infotech”,
    “https://www.goodfirms.co/company/sigli”
]

配置文件数据 = scrape_company_profiles（配置文件网址）
保存配置文件到 JSON（配置文件数据）

示例输出：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
[
  {
    “名称”: “统一信息技术”,
    “说明”: “Unified Infotech 是一家拥有 14 年历史、屡获殊荣的数字转型合作伙伴。我们致力于通过新兴技术和简化的数字流程来加速业务增长。我们为财富 2019 强企业、跨国公司 (MNC)、中小型企业 (SME) 和初创公司提供服务，作为他们全面的技术盟友，提供定制的网络、移动和定制软件解决方案。我们的组织以其咨询导向的方法而自豪，将自己定义为“值得信赖的数字转型合作伙伴”。我们体现了统一、自信、可靠和变革的价值观。我们的愿景和执行力统一，专注于推动数字时代无缝集成和成功的尖端软件解决方案。我们的信心推动着每个项目，确保取得稳健而创新的成果。可靠性是我们数字转型服务的核心，提供端到端解决方案，促进弹性和增长。凭借变革精神，我们彻底改变了行业，使企业能够实现无与伦比的增长和创新。我们是您在以下领域的首选合作伙伴： 数字化转型、定制 Web、移动和桌面软件开发 数字客户体验 - UX/UI 研究与设计 SaaS 和软件产品开发 IT 咨询和人员扩充 软件现代化和云迁移 数据和分析 云工程 我们服务于以下行业： SaaS 和数字平台 教育和出版 制药、医疗保健和生命科学 金融科技、银行、金融服务 保险 零售、电子商务 供应链 语音和翻译 建筑和房地产 汽车 媒体和娱乐 旅游和酒店 为什么选择 Unified Infotech？ 我们是一家屡获殊荣的全球数字化转型公司。我们通过量身定制的数字体验、软件开发、云工程、数据分析、IT 咨询和咨询服务帮助企业显着改善业务成果。 德勤技术高成长 500 强 BBB 认证和 A+ 评级（2019 年） GoodFirms 评级 2019 Clutch 认证评级 50 最佳工作场所”,
    “小时费率”: “每小时 50 - 99 美元”,
    “员工数量”: “50 - 249”,
    “成立年份”: “2010”,
    “服务”: [
      “Web 开发”,
      “软件开发”,
      “网页设计（UI/UX）”,
      “移动应用程序开发”,
      “电子商务发展”
    ]
  },
  {
    “名称”: “西格利”,
    “说明”: “Sigli 是一家充满活力的软件开发公司，专门从事数字产品开发和数字化转型。我们擅长将创新理念变为现实，提供涵盖整个开发周期（从概念到部署）的端到端解决方案。我们专注于提供高质量、可扩展且面向未来的数字产品，这使我们能够有效地应对数字化转型的复杂性。除了核心开发服务外，我们还非常重视人工智能和数据解决方案，帮助企业利用高级分析和智能系统来推动创新和效率。通过实现运营现代化和增强客户体验，我们确保客户在不断发展的数字环境中保持竞争力。我们团队的专业知识，加上对利用最新技术和最佳实践的承诺，使 Sigli 成为致力于在数字时代蓬勃发展的企业的可靠合作伙伴。我们很自豪能够获得 ISO/IEC 27001 认证，确保客户的数据和运营安全且合规。在 Sigli，我们相信成功的项目需要尖端技术、专业且适应性强的团队、相互尊重和精心规划的和谐融合。我们以客户为中心的理念以透明度、主人翁精神和对服务的不懈承诺为基础。我们公开沟通，对工作负责，始终把客户满意度放在首位。,
    “小时费率”: “每小时 50 - 99 美元”,
    “员工数量”: “50 - 249”,
    “成立年份”: “2015”,
    “服务”: [
      “软件开发”,
      “Web 开发”,
      “大数据与 BI”,
      “人工智能”,
      “移动应用程序开发”,
      “测试服务”,
      “DevOps”
    ]
  }
]

总结

抓取 GoodFirms 数据可以让你深入了解公司、服务和行业趋势。使用 爬虫库 Crawling API 和 Python 来收集和组织搜索列表和公司简介。这些数据可用于市场研究、竞争对手分析或数据驱动的解决方案。

但请始终遵循合乎道德的网络抓取实践，阅读 GoodFirm 的服务条款并明智地使用数据。使用正确的方法和工具，您可以将 GoodFirms 变成商业洞察的宝库。

以下是您可能感兴趣的更多指南：

如何抓取超级页面
如何抓取黄页
如何从 Zillow 抓取房地产数据
如何抓取 Stackoverflow 问题

如果你有任何疑问或想提供反馈，我们的 支持团队 可以帮助您进行网页抓取。祝您抓取愉快！

常见问题解答 (FAQs)

问：抓取 GoodFirms 数据时需要考虑哪些道德问题？

抓取是一种强大的工具，但始终要遵守 GoodFirm 的服务条款和道德准则。不要发出过多的请求，以免服务器过载，尊重他​​们的 robots.txt 文件，并在不侵犯知识产权的情况下使用数据。

问：在抓取 GoodFirms 数据时，如何处理验证码或阻止等潜在挑战？

GoodFirms 是一个静态网站，因此很少需要验证码或拦截。但为了确保顺利抓取，您可以使用 爬虫库 Crawling API 用于 IP 轮换和请求重试等功能，可以绕过速率限制并保持一致的访问。

问：企业可以通过抓取 GoodFirms 获得哪些见解？

公司简介、提供的服务、客户评价、小时工资、员工人数、成立年份。使用这些数据来衡量竞争对手、行业趋势并建立有针对性的推广。