LinkedIn 是企业界找工作的最佳平台之一,因为公司和专业人士都在使用其招聘信息来实现就业和职业目标。

抓取 LinkedIn 信息可以为企业、研究人员和求职者解锁大量数据。无论您是想收集潜在求职者的信息、监控公司活动还是分析行业趋势,抓取 LinkedIn 个人资料、公司页面和信息流都非常有价值。

在本博客中,我们将探讨如何有效地使用 Crawlbase 的 Crawling API 以 Python 形式抓取 LinkedIn 数据。Crawlbase 提供了一个强大的解决方案,用于从 LinkedIn 中提取数据,为个人资料、公司和信息流提供特定的抓取工具。在本指南结束时,您将了解如何设置环境、使用 Crawlbase API 以及高效地检索抓取的数据。

目录

为什么要爬取 LinkedIn?

LinkedIn 是专业信息的金矿。它拥有超过 700 亿用户,提供有关专业人士、公司、招聘信息和行业见解的大量数据。以下是抓取 LinkedIn 数据的一些令人信服的理由:

一张图列出了为什么抓取 LinkedIn 上的重要职位
  1. 人才招聘:对于招聘人员和人力资源专业人士来说,LinkedIn 抓取工具可用于筛选个人资料并收集潜在求职者的信息。这样一来,就可以更轻松地在短时间内找到合适的人才来填补职位空缺。
  2. 组织:企业可以使用 LinkedIn 数据抓取工具来密切关注竞争对手、市场走向并查看行业基准。这些数据有助于战略规划和决策。
  3. 销售/潜在客户生成:销售团队可以抓取 LinkedIn 个人资料来收集潜在客户,监控这些个人资料以供电话推销员使用,或制定有针对性的推广策略。销售人员仔细查看 LinkedIn 个人资料,以进一步了解他们销售对象的背景和兴趣。
  4. 学术研究:学者可以使用 LinkedIn 抓取工具从 LinkedIn 上抓取数据,收集有关就业趋势、行业趋势、业务发展以及专业人士如何建立网络的学术研究所需的数据集。
  5. 求职:求职者可以利用 LinkedIn 职位抓取工具来跟踪招聘信息、了解公司招聘模式,并根据从公司简介中获得的见解定制自己的申请。

LinkedIn 抓取功能可让您从 LinkedIn 抓取大量数据,而这些数据过去很难通过手动获取。在以下部分中,我们将讨论您可以从 LinkedIn 抓取哪些数据、您可能遇到的问题以及如何使用 Crawlbase 的抓取 API 进行 LinkedIn 抓取。

我们可以从 LinkedIn 上抓取什么信息?

当我们谈论抓取 LinkedIn 时,我们需要了解我们可以抓取哪些类型的数据。使用正确的 LinkedIn 抓取工具,我们可以抓取大量有益于不同目的的信息。以下是您可以从 LinkedIn 抓取的数据点的摘要:

简介:

  • 个人信息:姓名、职务、现任和前任职位、教育背景、技能、认可和推荐。
  • 联系方式:电子邮件、电话号码(如果公开)和社交媒体资料。
  • 活动和兴趣:用户分享或喜欢的帖子、文章和其他内容。

公司页面:

  • 更多详情:名称、行业、规模、位置、网站和公司描述。
  • 招聘职位:当前职位空缺、职位描述、要求和申请链接。
  • 员工信息:公司内部员工列表、他们的职责以及联系。
  • 更新和新闻:公司在其页面上分享的帖子、文章和更新。

进给速度:

  • 动态消息:您感兴趣的用户和公司的最新更新、帖子和文章。
  • 参与度指标:点赞、评论、分享以及帖子的整体参与度。
  • 内容分析:共享的内容类型、热门话题以及用户参与模式。

通过使用 LinkedIn 个人资料抓取工具、LinkedIn 公司页面抓取工具或 LinkedIn 信息抓取工具,我们可以抓取这些信息。这些数据可用于人才招聘、市场研究、潜在客户开发或学术研究。

在后续章节中,我们将重点介绍 LinkedIn 抓取问题,介绍 Crawlbase 的抓取 API,并分享如何准备您的环境并使用 Crawlbase 的各种 LinkedIn 抓取工具。

爬取 LinkedIn 数据的潜在挑战

抓取 LinkedIn 数据可以提供有价值的数据,但也伴随着挑战。

这张图显示了抓取 LinkedIn 数据的潜在挑战,如下所示。

防刮措施:

  • IP阻止:LinkedIn 采用 IP 封锁,如果短时间内从同一 IP 发出过多请求,则该 IP 将被封锁。使用轮换代理服务或实施请求延迟可避免这种情况。
  • 验证码:LinkedIn 可以显示 CAPTCHA 以确保请求是由人完成的。此障碍可以通过自动 CAPTCHA 解决服务或人工干预来解决。

动态内容:

  • LinkedIn 页面通过 JavaScript 呈现。传统的抓取方法可能无法有效捕获这些数据。您可以使用无头浏览器或 Crawlbase Crawling API 等服务来呈现 JavaScript 以抓取动态内容。
  • 服务条款:抓取 LinkedIn 数据可能会违反其服务条款。了解法律含义并确保您的抓取活动符合 LinkedIn 的准则和数据隐私法至关重要。
  • 用户同意:收集用户资料时应尊重隐私。避免抓取敏感信息并负责任地使用数据。

数据量和存储:

  • 大型数据集:从处理和存储角度来看,抓取大量数据可能具有挑战性。确保您拥有足够的基础设施来处理和存储所收集的数据。
  • 数据质量:抓取的数据有时可能不完整或包含错误。实施验证检查并清理数据以确保其质量和可用性。

通过意识到这些问题,您可以更有效地规划 LinkedIn 抓取策略。在接下来的部分中,我们将讨论如何使用 Crawlbase 的抓取 API 进行 LinkedIn 抓取,包括设置您的环境以及使用特定的抓取工具来抓取个人资料、公司页面和信息。

用于 LinkedIn 抓取的 Crawlbase 抓取 API

Crawlbase 提供了强大的抓取 API,简化了抓取 LinkedIn 信息的过程。该 API 专为开发人员而设计,可以快速集成到您现有的系统中。通过使用 Crawlbase 的 LinkedIn 抓取工具,您可以高效地从个人资料、公司页面和信息流中收集数据。以下是 Crawlbase 的 Crawling API 如何帮助您抓取 LinkedIn 的简要概述:

API 概述:

Crawling API 允许您向 LinkedIn 页面发出 HTTP 请求并检索必要的数据。它支持 GET 和 POST 请求,并使用无头浏览器处理动态内容。

匿名:

Crawlbase 使用全球轮换代理,正常运行时间为 99.9%,确保您的抓取活动保持匿名且无法检测。在处理 LinkedIn 等具有严格反抓取措施的平台时,此功能至关重要。

验证:

您需要一个 API 令牌来验证您的请求。Crawlbase 提供两种类型的令牌:一种用于普通请求,另一种用于启用 JavaScript 的请求。

速率限制和响应时间:

该 API 支持每个令牌每秒最多 20 个请求,确保高效的数据检索。平均响应时间为 4 到 10 秒。

处理异步请求:

对于 LinkedIn 抓取,您通常会使用异步请求来管理大量数据。Crawlbase 为每个异步请求提供了一个唯一的请求标识符 (rid),您稍后可以使用它来检索存储的数据。

接下来,我们将指导您设置环境以使用 Crawlbase 的爬网 API,并提供抓取 LinkedIn 个人资料、公司页面和提要的详细示例。

设置您的环境

要使用 Crawlbase 的 Crawling API 爬取 LinkedIn,您需要设置 Python 环境。以下是分步指南:

安装Python:

从以下位置下载并安装 Python 官方网站. 确保在安装过程中将 Python 添加到系统的 PATH 中。

创建虚拟环境:

打开终端或命令提示符并导航到项目目录。通过运行以下命令创建虚拟环境:

1
python -m venv venv

激活虚拟环境:

  • 在Windows上:

    1
    .\venv\Scripts\activate
  • 在 macOS/Linux 上:

    1
    资源 venv/bin/激活

安装 Crawlbase 库:

激活虚拟环境后,使用 pip 安装 Crawlbase 库:

1
点安装爬虫库

选择一个 IDE:

你可以使用任何集成开发环境 (IDE) 来编写和运行 Python 脚本,例如 PyCharm, VS代码Jupyter笔记本.

创建 Python 脚本:

打开你选择的 IDE 并创建一个新的 Python 文件,例如, scrape_linkedin.py。该脚本将包含与 Crawlbase 的 API 交互并抓取 LinkedIn 数据的代码。

通过正确设置环境,您可以确保 LinkedIn 数据抓取的工作流程顺畅。在接下来的部分中,我们将深入探讨使用 Crawlbase 的 LinkedIn 数据抓取工具从个人资料、公司页面和信息流中提取数据的具体示例。

Crawlbase LinkedIn 个人资料抓取工具

使用 Crawlbase 的 LinkedIn 个人资料抓取工具,您可以轻松地从 LinkedIn 个人资料中提取详细信息。以下是抓取 LinkedIn 个人资料的分步指南:

抓取 LinkedIn 个人资料:

首先导入必要的库并使用访问令牌初始化 Crawlbase API。定义要抓取的 LinkedIn 个人资料的 URL 并设置抓取选项。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
 爬行基地 进口 抓取API
bs4 进口 美丽汤
进口 JSON

# 使用您的访问令牌初始化 Crawlbase API
爬行 API = 爬行 API({ '令牌': '你的 API 令牌' })

网址= 'https://www.linkedin.com/in/kaitlyn-owen'

选项= {
'刮刀': 'linkedin-个人资料',
‘异步’: '真的'
}

# 使用 Crawlbase API 发出请求的函数
DEF make_crawlbase_request(网址):
响应=crawling_api.get(url,选项)
if 回复['状态代码'] == 200:
回报 json.loads(响应['身体']。解码('拉丁1'))
其他:
打印(“无法获取页面。状态代码:”, 回复['状态代码'])
回报 不包含

DEF scrape_profile(网址):
尝试:
json_response = make_crawlbase_request(url)
if json_响应:
回报 json_响应
特殊课程 as e:
打印(f"请求失败: {e}")

回报 不包含

if __名字__ == '__主要__':
scraped_data = scrape_profile(网址)
打印(json.dumps(scraped_data, 缩进=2))

此脚本初始化 Crawlbase API,定义要抓取的 LinkedIn 个人资料的 URL,并使用 linkedin-profile scraper。它发出异步请求来获取配置文件数据并打印 JSON 响应。

示例输出:

1
2
3
{
“摆脱”: "1dd4453c6f6bd93baf1d7e03"
}

从 Crawlbase Storage API 检索数据:

使用异步请求时,Crawlbase 会保存响应并提供请求标识符 (rid)。您需要使用此 rid 来检索数据。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
 爬行基地 进口 存储API
进口 JSON

# 使用你的访问令牌初始化 Crawlbase Storage API
storage_api = StorageAPI({ '令牌': '你的 API 令牌' })

RID = ‘你的请求标识符’

# 从 Crawlbase 存储中检索数据的函数
DEF 检索数据(摆脱):
响应 = storage_api.get(来自 https://api.crawlbase.com/storage?rid={摆脱}')
if 回复['状态代码'] == 200:
回报 json.loads(响应['身体']。解码('拉丁1'))
其他:
打印(“无法检索数据。状态代码:”, 回复['状态代码'])
回报 不包含

if __名字__ == '__主要__':
检索到的数据 = 检索到的数据(RID)
打印(json.dumps(retrieved_data,缩进=2))

该脚本使用 rid 检索存储的响应并打印 JSON 数据。

示例输出:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
{
“标题”: “凯特琳·欧文”,
“标题”: "",
“子线”: [“迈阿密-劳德代尔堡地区”, “5 名粉丝”, “500+ 个连接”],
“地点”: “迈阿密-劳德代尔堡地区”,
“封面图片”: "https://media.licdn.com/dms/image/D4E16AQHW1GnvvOebbQ/profile-displaybackgroundimage-shrink_200_800/0/1710246724829?e=2147483647&v=beta&t=i-PEK8cxRdvov4ZERUJB6Pp9eh5jIh3LrysrpQbjgLM",
“个人资料图片”: "https://media.licdn.com/dms/image/C5603AQE5W6ovXILrAA/profile-displayphoto-shrink_200_200/0/1654018869301?e=2147483647&v=beta&t=WZ2BqDnTi6lOIWxNDdrnLkchmg0FparKWWU53NCaCuQ",
“个人资料网址”: “https://www.linkedin.com/in/kaitlyn-owen”,
“位置信息”: {
“公司”: "",
“关联”: "",
“图片”:
},
“教育信息”: {
“学校”: "",
“关联”: "",
“图片”:
},
“网站信息”: {
“标题”: "",
“关联”: ""
},
“概括”: [“我是一位积极进取的专业人士,热衷于亲自帮助外科医生……”],
“活动”: [
{
“标题”: “经许可——在另一家当地机构植入感染的主动脉移植物 4 年后。打高尔夫球,热爱生活。最好……”,
“关联”: “https://www.linkedin.com/posts/peter-rossi-md-facs-dfsvs-9393b934_aorta-aortaed-activity-7185799259269525504-DI5k?trk=public_profile”,
“图片”: "https://media.licdn.com/dms/image/D5622AQFKrMD3lTsK3w/feedshare-shrink_2048_1536/0/1713228047686?e=2147483647&v=beta&t=eZ4Blo9-IEPoDaF7TgUQbm-gFtDmRGTaW1uZOqLWEM4",
“归因”: {
“标题”: “Kaitlyn Owen 点赞”,
“关联”: “https://www.linkedin.com/in/kaitlyn-owen?trk=public_profile_actor-name”
}
},
{
“标题”: “当我打开这个奖项时,我立刻感到自豪、荣幸和谦卑!我为所有的努力感到骄傲,很荣幸能为如此杰出的人工作……”,
“关联”: “https://www.linkedin.com/posts/tinaharris0214_orthopedicsurgeryteam-2023presidentsclub-activity-7189045084422631425-7ZcG?trk=public_profile”,
“图片”: "https://media.licdn.com/dms/image/D4D22AQGl_nS5GjrxMQ/feedshare-shrink_2048_1536/0/1714001912596?e=2147483647&v=beta&t=zLnx3M-7NVU2hbb4sdKZxdkhjMkvzCJg8smuLjtg49M",
“归因”: {
“标题”: “Kaitlyn Owen 点赞”,
“关联”: “https://www.linkedin.com/in/kaitlyn-owen?trk=public_profile_actor-name”
}
},
{
“标题”: “对于任何考虑担任临时代理的人来说,这都是一本好书。如果您有兴趣了解更多有关如何使用临时代理来偿还债务或获得……”,
“关联”: “https://www.linkedin.com/posts/kaitlyn-owen_the-flexibility-and-financial-freedom-of-activity-7158495374440054784-_aGb?trk=public_profile”,
“图片”: "https://media.licdn.com/dms/image/sync/C4D27AQFz0Posz0Y1zg/articleshare-shrink_1280_800/0/1711486435718?e=2147483647&v=beta&t=DAqF2nK5hI9RV0D7EhVLX35ZLiAUMUA-Tuosq7WtCQ4",
“归因”: {
“标题”: “由 Kaitlyn Owen 分享”,
“关联”: “https://www.linkedin.com/in/kaitlyn-owen?trk=public_profile_actor-name”
}
},
{
“标题”: “回顾又一个精彩的一年!2023 年,我有机会与许多出色的外科医生和医院合作,帮助医疗保健普及到……”,
“关联”: “https://www.linkedin.com/posts/kaitlyn-owen_weatherbyhealthcare-chghealthcare-locum-activity-7146531265897234432-EzBj?trk=public_profile”,
“图片”: "https://media.licdn.com/dms/image/D4E22AQHtegaMfmHSfw/feedshare-shrink_2048_1536/0/1703865828105?e=2147483647&v=beta&t=6aTOKbxcyH4hgJswNj_WOvE9AxeUnASsnb6Kxv0ChPU",
“归因”: {
“标题”: “由 Kaitlyn Owen 分享”,
“关联”: “https://www.linkedin.com/in/kaitlyn-owen?trk=public_profile_actor-name”
}
},
{
“标题”: “对于目前正在从事或考虑从事临时工工作的人来说,这是一本值得一读的书!在工作的同时了解财务的来龙去脉……”,
“关联”: “https://www.linkedin.com/posts/kaitlyn-owen_what-to-know-about-locum-tenens-finances-activity-7140344345198501889-4uC4?trk=public_profile”,
“图片”: "https://media.licdn.com/dms/image/sync/D5627AQELglatDP2mXw/articleshare-shrink_1280_800/0/1711744807281?e=2147483647&v=beta&t=IMAyTPy3fSuf36q9PEvlBc31xbCrayyaAVeNa_Zs45g",
“归因”: {
“标题”: “由 Kaitlyn Owen 分享”,
“关联”: “https://www.linkedin.com/in/kaitlyn-owen?trk=public_profile_actor-name”
}
}
],
“经验”: {
“经验总计”: 0,
“体验组”: [],
“经验列表”: []
},
“教育”: [
{
“学校”: "",
“关联”: "",
“图片”: ,
“学位信息”: [],
“开始日期”: “2014”,
“结束日期”: “2018”
},
{
“学校”: "",
“关联”: "",
“图片”: ,
“学位信息”: [],
“开始日期”: “2014”,
“结束日期”: “2015”
}
],
“出版物”: [],
“专利”: [],
“志愿服务”: [],
“认证”: [],
“培训班”: [],
“项目”: [],
“语言”: [],
“组织”: [],
“群组”: [],
「建议」: [
{
“文本”: “从个人经验来看,我强烈推荐凯特琳。当我从长期外科诊所转行时,她联系了我。她热情、活泼、执着,这些品质让她继续为我找到临时医生的工作。在 WEATHERBY,她就像我的私人礼宾服务。她的沟通技巧非常棒,总是主动联系我,确保在任务之前、期间和之后一切井然有序。我真的很喜欢和她一起工作,并期待着继续合作。”
},
{
“文本”: “我很高兴为凯特琳·欧文写这封推荐信。首先,我要介绍一下背景。凯特琳以韦瑟比代表的身份打电话给我,并要求我联系需要临时医生的医院,之后我“认识”了她。我们从未见过面,但她的个性、坚持不懈以及在有意义的层面上“联系”的能力,无论是在电话、短信还是电子邮件中,都体现得淋漓尽致。很明显,她很有条理,可以同时协调多位医生和机会。我还没有遇到凯特琳无法处理和解决的问题。没有亲自见过她,她似乎是一个真诚、热情、迷人的人。我可以毫无保留地推荐凯特琳。我可以继续说下去,但我相信简洁能保持信息的“纯粹”。简而言之,我很幸运能让她成为我的韦瑟比代表。”
}
],
“奖项”: [],
“人们也同样看过”: [
{
“标题”: “米歇尔·鲍迪奇”,
“位置”: "",
“关联”: “https://www.linkedin.com/in/michellebowdich?trk=public_profile_browsemap-profile”,
“图片”:
},
{
“标题”: “克里斯蒂 K”,
“位置”: "",
“关联”: “https://www.linkedin.com/in/christy-k-10826233?trk=public_profile_browsemap-profile”,
“图片”:
},
{
“标题”: 摩根·麦克尔唐尼,
“位置”: "",
“关联”: “https://www.linkedin.com/in/morgan-mceldowney?trk=public_profile_browsemap-profile”,
“图片”:
},
{
“标题”: “莉莉·科丽娜”,
“位置”: "",
“关联”: “https://www.linkedin.com/in/lily-kholina-81006b64?trk=public_profile_browsemap-profile”,
“图片”:
},
{
“标题”: “艾因斯利·罗德里格斯”,
“位置”: "",
“关联”: “https://www.linkedin.com/in/ainsley-rodriguez-a50b3a145?trk=public_profile_browsemap-profile”,
“图片”:
},
{
“标题”: “布鲁克·吉布森”,
“位置”: "",
“关联”: “https://www.linkedin.com/in/brooke-gibson-348bb2140?trk=public_profile_browsemap-profile”,
“图片”:
},
{
“标题”: 布兰迪·塔尔顿,
“位置”: "",
“关联”: “https://www.linkedin.com/in/brandi-talton-653b46121?trk=public_profile_browsemap-profile”,
“图片”:
},
{
“标题”: “切尔西·唐纳森”,
“位置”: "",
“关联”: “https://www.linkedin.com/in/chelsea-donaldson-a343838a?trk=public_profile_browsemap-profile”,
“图片”:
},
{
“标题”: 康斯坦斯·贝尔斯,
“位置”: “公共关系与营销”,
“关联”: “https://www.linkedin.com/in/constance-bailes-6710a384?trk=public_profile_browsemap-profile”,
“图片”:
},
{
“标题”: “梅丽莎·卡彻”,
“位置”: "",
“关联”: “https://www.linkedin.com/in/melissa-katcher-23700a88?trk=public_profile_browsemap-profile”,
“图片”:
},
{
“标题”: “梅根赛车手”,
“位置”: "",
“关联”: “https://www.linkedin.com/in/megan-racer-a82720224?trk=public_profile_browsemap-profile”,
“图片”:
},
{
“标题”: “艾丽卡·格拉姆”,
“位置”: "",
“关联”: “https://www.linkedin.com/in/erika-glam-25060242?trk=public_profile_browsemap-profile”,
“图片”:
},
{
“标题”: 塔希娜·瑞克森,
“位置”: "",
“关联”: “https://www.linkedin.com/in/tashina-rickerson-45304991?trk=public_profile_browsemap-profile”,
“图片”:
},
{
“标题”: 劳伦·拉戴尔,
“位置”: "",
“关联”: “https://www.linkedin.com/in/lauren-ladell?trk=public_profile_browsemap-profile”,
“图片”:
},
{
“标题”: “塔拉·蒂特”,
“位置”: “人寿保险代理人、营销专家、活动策划师”,
“关联”: “https://www.linkedin.com/in/tara-teeter-784b7926?trk=public_profile_browsemap-profile”,
“图片”:
},
{
“标题”: “卡西·格林”,
“位置”: "",
“关联”: “https://www.linkedin.com/in/casie-greene-7693bba0?trk=public_profile_browsemap-profile”,
“图片”:
},
{
“标题”: “克里斯汀·库布里克”,
“位置”: “Weatherby Healthcare 外科部门销售经理 II”,
“关联”: “https://www.linkedin.com/in/kristin-kubrick-7bba03134?trk=public_profile_browsemap-profile”,
“图片”:
},
{
“标题”: 吉莉安·戴维斯,
“位置”: "",
“关联”: “https://www.linkedin.com/in/aboutfacemodels?trk=public_profile_browsemap-profile”,
“图片”:
},
{
“标题”: “萨凡纳斯托”,
“位置”: “个体经营者营销经理”,
“关联”: “https://www.linkedin.com/in/savannahreel?trk=public_profile_browsemap-profile”,
“图片”:
},
{
“标题”: “韦斯利·麦奎德”,
“位置”: "",
“关联”: “https://www.linkedin.com/in/wesley-mcquaid?trk=public_profile_browsemap-profile”,
“图片”:
}
],
“同名”: [
{
“标题”: “凯特琳·欧文”,
“位置”: “印第安纳大学健康医生项目经理”,
“关联”: “https://www.linkedin.com/in/kaitlynkolzow?trk=public_profile_samename-profile”,
“图片”: ,
“地点”: “印第安纳州,印第安纳波利斯”
},
{
“标题”: “凯特琳·欧文”,
“位置”: “行政专业人员”,
“关联”: “https://www.linkedin.com/in/kaitlyn-owen-704b8b91?trk=public_profile_samename-profile”,
“图片”: ,
“地点”: “北卡罗来纳州温斯顿塞勒姆”
},
{
“标题”: “凯特琳·欧文”,
“位置”: “伊利诺伊大学香槟分校学生”,
“关联”: “https://www.linkedin.com/in/kaitlyn-owen-bb9a46267?trk=public_profile_samename-profile”,
“图片”: ,
“地点”: “伊利诺伊州麦克亨利”
},
{
“标题”: “凯特琳·欧文”,
“位置”: "",
“关联”: “https://www.linkedin.com/in/kaitlyn-owen-1a469575?trk=public_profile_samename-profile”,
“图片”: ,
“地点”: “华盛顿州雷德蒙德”
}
],
“类似资料”: []
}

通过遵循这些步骤,您可以使用 Crawlbase 的 API 有效地抓取 LinkedIn 个人资料。接下来,我们将探索如何抓取 LinkedIn 公司页面和信息。

Crawlbase LinkedIn 公司页面抓取工具

接下来,让我们探索如何使用 Crawlbase 的 LinkedIn 公司页面抓取工具。此工具可让您提取有关 LinkedIn 上列出的公司的详细信息。

爬取 LinkedIn 公司页面

要抓取 LinkedIn 公司页面,您需要设置一个类似于抓取个人资料的脚本。操作方法如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
 爬行基地 进口 抓取API
进口 JSON

# 使用您的访问令牌初始化 Crawlbase API
爬行 API = 爬行 API({ '令牌': '你的 API 令牌' })

网址= 'https://www.linkedin.com/company/amazon'

选项= {
'刮刀': 'linkedin-公司',
‘异步’: '真的'
}

# 使用 Crawlbase API 发出请求的函数
DEF make_crawlbase_request(网址):
响应=crawling_api.get(url,选项)
if 回复['状态代码'] == 200:
回报 json.loads(响应['身体']。解码('拉丁1'))
其他:
打印(“无法获取页面。状态代码:”, 回复['状态代码'])
回报 不包含

DEF scrape_company(网址):
尝试:
json_response = make_crawlbase_request(url)
if json_响应:
回报 json_响应
特殊课程 as e:
打印(f"请求失败: {e}")

回报 不包含

if __名字__ == '__主要__':
scraped_data = scrape_company(网址)
打印(json.dumps(scraped_data, 缩进=2))

此脚本初始化 Crawlbase API,设置要抓取的 LinkedIn 公司页面的 URL,并指定 linkedin-company scraper。然后,脚本发出异步请求以获取公司数据并打印 JSON 响应。

示例输出:

1
2
3
{
“摆脱”: “f270321bbebe203b43cebedd”
}

从 Crawlbase Storage API 检索数据

与个人资料抓取一样,异步请求将返回 rid。 你可以用这个 rid 检索存储的数据。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
 爬行基地 进口 存储API
进口 JSON

# 使用你的访问令牌初始化 Crawlbase Storage API
storage_api = StorageAPI({ '令牌': '你的 API 令牌' })

RID = ‘你的请求标识符’

# 从 Crawlbase 存储中检索数据的函数
DEF 检索数据(摆脱):
响应 = storage_api.get(来自 https://api.crawlbase.com/storage?rid={摆脱}')
if 回复['状态代码'] == 200:
回报 json.loads(响应['身体']。解码('拉丁1'))
其他:
打印(“无法检索数据。状态代码:”, 回复['状态代码'])
回报 不包含

if __名字__ == '__主要__':
检索到的数据 = 检索到的数据(RID)
打印(json.dumps(retrieved_data,缩进=2))

该脚本使用 rid 检索并打印存储的公司数据。

示例输出:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
437
438
439
440
441
442
443
444
445
446
447
448
449
450
451
452
453
454
455
456
457
458
459
460
461
462
463
464
465
466
467
468
469
470
471
472
473
474
475
476
477
478
479
480
481
482
483
484
485
486
487
488
489
490
491
492
493
494
495
496
497
498
499
500
501
502
503
504
505
506
507
508
509
510
511
512
513
514
515
516
517
518
519
520
521
522
523
524
525
526
527
528
529
530
531
532
533
534
535
536
537
538
539
540
541
542
543
544
545
546
547
548
549
550
551
552
553
554
555
556
557
558
559
560
561
562
563
564
565
566
567
568
569
570
571
572
573
574
575
576
577
578
579
580
581
582
583
584
585
586
587
588
589
590
591
592
593
594
595
596
597
598
599
600
601
602
603
604
605
606
607
608
609
610
611
612
613
614
615
616
617
618
619
620
621
622
623
624
625
626
627
628
{
“标题”: “亚马逊”,
“标题”: “软件开发”,
“封面图片”: "https://media.licdn.com/dms/image/D4D3DAQGri_YWxYb-GQ/image-scale_191_1128/0/1681945878609/amazon_cover?e=2147483647&v=beta&t=DEHImsFhQdlARMSTcY2AmdImxdLxIyvDncPmPQEpebY",
“公司形象”: "https://media.licdn.com/dms/image/C560BAQHTvZwCx4p2Qg/company-logo_200_200/0/1630640869849/amazon_logo?e=2147483647&v=beta&t=2vRB20XZOYNtXSr5GHAUUQXXII4lvgcotA2QTMcRHOI",
“网址”: “https://www.linkedin.com/company/amazon”,
“雇员”: {
“在职员工人数”: 737833,
“关联”: "https://www.linkedin.com/search/results/people/?facetCurrentCompany=%5B15218805%2C+2649984%2C+17411%2C+78392228%2C+208137%2C+61712%2C+2382910%2C+49318%2C+16551%2C+80073065%2C+47157%2C+21433%2C+71099%2C+860467%2C+12227%2C+167364%2C+4787585%2C+11091426%2C+451028%2C+111446%2C+14951%2C+46825%2C+2320329%2C+34924%2C+1586%5D"
},
“关注者数”: 31243559,
“标记”: "",
“说明”: “亚马逊遵循四项原则:以客户为中心而非以竞争对手为中心、热衷于创新、致力于卓越运营和长远思考。我们热衷于开发技术、发明产品和提供改变生活的服务。我们欢迎新的方式做事,快速做出决策,不怕失败。我们拥有大公司的视野和能力,以及小公司的精神和核心。亚马逊人共同研究和开发从亚马逊网络服务到 Alexa 的新技术,以服务我们的客户:全球的购物者、卖家、内容创建者和开发者。我们的使命是成为地球上最以客户为中心的公司。我们的行动、目标、项目、计划和发明始终以客户为中心。您还会听到我们说,在亚马逊,一切从“第一天”开始。我们的意思是什么?我们的方法与亚马逊第一天的方法相同 - 做出明智、快速的决策,保持敏捷,不断创新,专注于取悦我们的客户。”,
“基本信息”: [
{
“名称”: “网站”,
“值”: “https://www.aboutamazon.com/ 亚马逊的外部链接”
},
{
“名称”: “行业”,
“值”: “软件开发”
},
{
“名称”: “公司规模”,
“值”: “10,001 名以上员工”
},
{
“名称”: 「总部」,
“值”: “华盛顿州西雅图市”
},
{
“名称”: “类型”,
“值”: “上市公司”
},
{
“名称”: “特色”,
“值”: “电子商务、零售、运营和互联网”
}
],
“位置”: {
“基本的”: {
“地址”: “2127 7th Ave.西雅图,华盛顿州 98109,美国”,
“关联”: “https://www.bing.com/maps?where=2127+7th+Ave.+Seattle+98109+WA+US&trk=org-locations_url”
},
“其他”: [
{
“地址”: “12900 Worldgate DrHerndon,弗吉尼亚州 20170,美国”,
“关联”: “https://www.bing.com/maps?where=12900+Worldgate+Dr+Herndon+20170+VA+US&trk=org-locations_url”
},
{
“地址”: “7200 Discovery DrChattanooga,田纳西州 37416,美国”,
“关联”: “https://www.bing.com/maps?where=7200+Discovery+Dr+Chattanooga+37416+TN+US&trk=org-locations_url”
},
{
“地址”: “1100 Enterprise WaySunnyvale,加利福尼亚州 94089,美国”,
“关联”: “https://www.bing.com/maps?where=1100+Enterprise+Way+Sunnyvale+94089+CA+US&trk=org-locations_url”
},
{
“地址”: “2010 Broening HwyBaltimore,马里兰州 21224,美国”,
“关联”: “https://www.bing.com/maps?where=2010+Broening+Hwy+Baltimore+21224+MD+US&trk=org-locations_url”
},
{
“地址”: “Buyukdere Caddesi 185 伊斯坦布尔,伊斯坦布尔 34394,TR”,
“关联”: “https://www.bing.com/maps?where=Buyukdere+Caddesi+185+Istanbul+34394+Istanbul+TR&trk=org-locations_url”
},
{
“地址”: “Via de las Dos Castillas,33Pozuelo de Alarcon,马德里自治区 28224,ES”,
“关联”: “https://www.bing.com/maps?where=Via+de+las+Dos+Castillas,+33+Pozuelo+de+Alarcon+28224+Community+of+Madrid+ES&trk=org-locations_url&”
},
{
“地址”: “Im GewerbeparkRegensburg,巴伐利亚州 93059,DE”,
“关联”: “https://www.bing.com/maps?where=Im+Gewerbepark+Regensburg+93059+Bavaria+DE&trk=org-locations_url”
},
{
“地址”: “8 展览街墨尔本,VIC 3000,AU”,
“关联”: “https://www.bing.com/maps?where=8+Exhibition+St+Melbourne+3000+VIC+AU&trk=org-locations_url”
},
{
“地址”: “705 Boulder DrBreinigsville,宾夕法尼亚州 18031,美国”,
“关联”: “https://www.bing.com/maps?where=705+Boulder+Dr+Breinigsville+18031+PA+US&trk=org-locations_url”
},
{
“地址”: “2700 Regent BlvdIrving,TX 75063,美国”,
“关联”: “https://www.bing.com/maps?where=2700+Regent+Blvd+Irving+75063+TX+US&trk=org-locations_url”
},
{
“地址”: “500 Kinetic DrHuntington,西弗吉尼亚州 25701,美国”,
“关联”: “https://www.bing.com/maps?where=500+Kinetic+Dr+Huntington+25701+WV+US&trk=org-locations_url”
},
{
“地址”: “1125 Remington BlvdRomeoville,IL 60446,美国”,
“关联”: “https://www.bing.com/maps?where=1125+Remington+Blvd+Romeoville+60446+IL+US&trk=org-locations_url”
},
{
“地址”: “爱尔兰都柏林郡都柏林伯灵顿路”,
“关联”: “https://www.bing.com/maps?where=Burlington+Road+Dublin+County+Dublin+IE&trk=org-locations_url”
},
{
“地址”: “109 Braid StNew Westminster,BC V3L 5H4,CA”,
“关联”: “https://www.bing.com/maps?where=109+Braid+St+New+Westminster+V3L+5H4+BC+CA&trk=org-locations_url”
},
{
“地址”: “Solan Rd开普敦,西开普省 8001,ZA”,
“关联”: “https://www.bing.com/maps?where=Solan+Rd+Cape+Town+8001+Western+Cape+ZA&trk=org-locations_url”
},
{
“地址”: “2700 Center DrDupont,华盛顿州 98327,美国”,
“关联”: “https://www.bing.com/maps?where=2700+Center+Dr+Dupont+98327+WA+US&trk=org-locations_url”
},
{
“地址”: “8000 N Virginia StReno,内华达州 89506,美国”,
“关联”: “https://www.bing.com/maps?where=8000+N+Virginia+St+Reno+89506+NV+US&trk=org-locations_url”
},
{
“地址”: “4848 Perrin Creek圣安东尼奥,德克萨斯州 78217,美国”,
“关联”: “https://www.bing.com/maps?where=4848+Perrin+Creek+San+Antonio+78217+TX+US&trk=org-locations_url”
},
{
“地址”: “1555 N Chrisman RdTracy,加利福尼亚州 95304,美国”,
“关联”: “https://www.bing.com/maps?where=1555+N+Chrisman+Rd+Tracy+95304+CA+US&trk=org-locations_url”
},
{
“地址”: “60 Holborn Viaduct 伦敦,英国 EC1A 2FD,GB”,
“关联”: “https://www.bing.com/maps?where=60+Holborn+Viaduct+London+EC1A+2FD+England+GB&trk=org-locations_url”
},
{
“地址”: “120 Bremner BlvdToronto, ON M5J 0A8, CA”,
“关联”: “https://www.bing.com/maps?where=120+Bremner+Blvd+Toronto+M5J+0A8+ON+CA&trk=org-locations_url”
},
{
“地址”: “卢森堡 31 号 Rives de Clausen,卢森堡 2165,LU”,
“关联”: “https://www.bing.com/maps?where=31+Rives+de+Clausen+Luxembourg+2165+Luxembourg+LU&trk=org-locations_url”
},
{
“地址”: “Sunbank LaneAltrincham,英格兰 WA15 0,GB”,
“关联”: “https://www.bing.com/maps?where=Sunbank+Lane+Altrincham+WA15+0+England+GB&trk=org-locations_url”
},
{
“地址”: “西北第五街 86 号,亚特兰大,佐治亚州 5,美国”,
“关联”: “https://www.bing.com/maps?where=86+5th+St+NW+Atlanta+30308+GA+US&trk=org-locations_url”
},
{
“地址”: “402 John Dodd RdSpartanburg,南卡罗来纳州 29303,美国”,
“关联”: “https://www.bing.com/maps?where=402+John+Dodd+Rd+Spartanburg+29303+SC+US&trk=org-locations_url”
},
{
“地址”: “滑铁卢广场爱丁堡,苏格兰 EH1 3EG,GB”,
“关联”: “https://www.bing.com/maps?where=Waterloo+Place+Edinburgh+EH1+3EG+Scotland+GB&trk=org-locations_url”
},
{
“地址”: “Am Brauhaus 12Dresden,SN 01099,DE”,
“关联”: “https://www.bing.com/maps?where=Am+Brauhaus+12+Dresden+01099+SN+DE&trk=org-locations_url”
},
{
“地址”: “3501 120th AveKenosha,威斯康星州 53144,美国”,
“关联”: “https://www.bing.com/maps?where=3501+120th+Ave+Kenosha+53144+WI+US&trk=org-locations_url”
},
{
“地址”: “24208 San Michele RdMoreno Valley,加利福尼亚州 92551,美国”,
“关联”: “https://www.bing.com/maps?where=24208+San+Michele+Rd+Moreno+Valley+92551+CA+US&trk=org-locations_url”
},
{
“地址”: “Calle del Hierro, 21马德里,马德里自治区 28045,ES”,
“关联”: “https://www.bing.com/maps?where=Calle+del+Hierro,+21+Madrid+28045+Community+of+Madrid+ES&trk=org-locations_url&”
},
{
“地址”: “50 Airways BlvdNashville,TN 37217,美国”,
“关联”: “https://www.bing.com/maps?where=50+Airways+Blvd+Nashville+37217+TN+US&trk=org-locations_url”
},
{
“地址”: “3350 Laurel Ridge AveRuskin,FL 33570,美国”,
“关联”: “https://www.bing.com/maps?where=3350+Laurel+Ridge+Ave+Ruskin+33570+FL+US&trk=org-locations_url”
},
{
“地址”: “4255 Anson BlvdWhitestown,印第安纳州 46075,美国”,
“关联”: “https://www.bing.com/maps?where=4255+Anson+Blvd+Whitestown+46075+IN+US&trk=org-locations_url”
},
{
“地址”: “2170 RT-27爱迪生,新泽西州 08817,美国”,
“关联”: “https://www.bing.com/maps?where=2170+RT-27+Edison+08817+NJ+US&trk=org-locations_url”
},
{
“地址”: “560 Merrimac AveMiddletown,DE 19709,美国”,
“关联”: “https://www.bing.com/maps?where=560+Merrimac+Ave+Middletown+19709+DE+US&trk=org-locations_url”
},
{
“地址”: “150 W Jefferson AveDetroit,密歇根州 48226,美国”,
“关联”: “https://www.bing.com/maps?where=150+W+Jefferson+Ave+Detroit+48226+MI+US&trk=org-locations_url”
},
{
“地址”: “101 Main StCambridge,马萨诸塞州 02142,美国”,
“关联”: “https://www.bing.com/maps?where=101+Main+St+Cambridge+02142+MA+US&trk=org-locations_url”
},
{
“地址”: “1800 140th Ave ESumner,华盛顿州 98390,美国”,
“关联”: “https://www.bing.com/maps?where=1800+140th+Ave+E+Sumner+98390+WA+US&trk=org-locations_url”
},
{
“地址”: “5000 Commerce WayPetersburg,弗吉尼亚州 23803,美国”,
“关联”: “https://www.bing.com/maps?where=5000+Commerce+Way+Petersburg+23803+VA+US&trk=org-locations_url”
},
{
“地址”: “50 New Canton Way罗宾斯维尔镇,新泽西州 08691,美国”,
“关联”: “https://www.bing.com/maps?where=50+New+Canton+Way+Robbinsville+Township+08691+NJ+US&trk=org-locations_url”
},
{
“地址”: “12900 Pecan Park RdJacksonville,FL 32218,美国”,
“关联”: “https://www.bing.com/maps?where=12900+Pecan+Park+Rd+Jacksonville+32218+FL+US&trk=org-locations_url”
},
{
“地址”: “4400 12th Street ExtWest 哥伦比亚,南卡罗来纳州 29172,美国”,
“关联”: “https://www.bing.com/maps?where=4400+12th+Street+Ext+West+Columbia+29172+SC+US&trk=org-locations_url”
},
{
“地址”: “2 Park StSydney,新南威尔士州 2000,AU”,
“关联”: “https://www.bing.com/maps?where=2+Park+St+Sydney+2000+NSW+AU&trk=org-locations_url”
},
{
“地址”: “510 W Georgia StVancouver, BC V6B 0M3, CA”,
“关联”: “https://www.bing.com/maps?where=510+W+Georgia+St+Vancouver+V6B+0M3+BC+CA&trk=org-locations_url”
},
{
“地址”: “7290 Investment Dr北查尔斯顿,南卡罗来纳州 29418,美国”,
“关联”: “https://www.bing.com/maps?where=7290+Investment+Dr+North+Charleston+29418+SC+US&trk=org-locations_url”
},
{
“地址”: “11999 National Rd SWPataskala,俄亥俄州 43062,美国”,
“关联”: “https://www.bing.com/maps?where=11999+National+Rd+SW+Pataskala+43062+OH+US&trk=org-locations_url”
},
{
“地址”: “6400 Avenue 6000Cork,科克郡 T12 D292,IE”,
“关联”: “https://www.bing.com/maps?where=6400+Avenue+6000+Cork+T12+D292+County+Cork+IE&trk=org-locations_url”
},
{
“地址”: “96 E San Fernando StSan Jose,CA 95113,美国”,
“关联”: “https://www.bing.com/maps?where=96+E+San+Fernando+St+San+Jose+95113+CA+US&trk=org-locations_url”
},
{
“地址”: “Namestie 1. maja 7286/18Bratislava,布拉迪斯拉发 811 06,SK”,
“关联”: "https://www.bing.com/maps?where=Namestie+1.+maja+7286/18+Bratislava+811+06+Bratislava+SK&trk=org-locations_url"
},
{
“地址”: “Rue de PlanqueLauwin-Planque,上法兰西大区 59553,FR”,
“关联”: “https://www.bing.com/maps?where=Rue+de+Planque+Lauwin-Planque+59553+Hauts-de-France+FR&trk=org-locations_url”
},
{
“地址”: “23 Church StSingapore,新加坡 049481,SG”,
“关联”: “https://www.bing.com/maps?where=23+Church+St+Singapore+049481+Singapore+SG&trk=org-locations_url”
},
{
“地址”: “8120 Humble Westfield RdHumble,TX 77338,美国”,
“关联”: “https://www.bing.com/maps?where=8120+Humble+Westfield+Rd+Humble+77338+TX+US&trk=org-locations_url”
},
{
“地址”: “2996 Ramona AveSacramento,加利福尼亚州 95826,美国”,
“关联”: “https://www.bing.com/maps?where=2996+Ramona+Ave+Sacramento+95826+CA+US&trk=org-locations_url”
},
{
“地址”: “801 30 St NE卡尔加里,AB T2A 5L7,CA”,
“关联”: "https://www.bing.com/maps?where=801+30+St+NE+Calgary+T2A+5L7+AB+CA&trk=org-locations_url"
},
{
“地址”: “3610 NW Saint Helens RdPortland,俄勒冈州 97210,美国”,
“关联”: “https://www.bing.com/maps?where=3610+NW+Saint+Helens+Rd+Portland+97210+OR+US&trk=org-locations_url”
},
{
“地址”: “Avenida Juan Salvador Agraz 73Cuajimalpa de Morelos,CDMX 05348,MX”,
“关联”: “https://www.bing.com/maps?where=Avenida+Juan+Salvador+Agraz+73+Cuajimalpa+de+Morelos+05348+CDMX+MX&trk=org-locations_url”
},
{
“地址”: “8050 Heritage RdBrampton,ON L6Y 0C9,CA”,
“关联”: “https://www.bing.com/maps?where=8050+Heritage+Rd+Brampton+L6Y+0C9+ON+CA&trk=org-locations_url”
},
{
“地址”: “Evropska 2758/11布拉格,布拉格 160 00,捷克共和国”,
“关联”: “https://www.bing.com/maps?where=Evropska+2758/11+Prague+160+00+Prague+CZ&trk=org-locations_url”
},
{
“地址”: “1910 E Central AveSan Bernardino,CA 92408,美国”,
“关联”: “https://www.bing.com/maps?where=1910+E+Central+Ave+San+Bernardino+92408+CA+US&trk=org-locations_url”
},
{
“地址”: “1414 S Council Rd俄克拉荷马城,俄克拉荷马州 73128,美国”,
“关联”: “https://www.bing.com/maps?where=1414+S+Council+Rd+Oklahoma+City+73128+OK+US&trk=org-locations_url”
},
{
“地址”: “1401 E McCarty LnSan Marcos,TX 78666,美国”,
“关联”: “https://www.bing.com/maps?where=1401+E+McCarty+Ln+San+Marcos+78666+TX+US&trk=org-locations_url”
},
{
“地址”: “哈比布拉路钦奈,泰米尔纳德邦 600017,IN”,
“关联”: “https://www.bing.com/maps?where=Habibullah+Road+Chennai+600017+Tamil+Nadu+IN&trk=org-locations_url”
},
{
“地址”: “188 Spear St旧金山,加利福尼亚州 94105,美国”,
“关联”: “https://www.bing.com/maps?where=188+Spear+St+San+Francisco+94105+CA+US&trk=org-locations_url”
},
{
“地址”: “位于 Sabina 的 Via delle MechanicaFara,路易斯安那州,02032,IT”,
“关联”: “https://www.bing.com/maps?where=Via+delle+Mechanica+Fara+in+Sabina+02032+Laz.+IT&trk=org-locations_url”
},
{
“地址”: “2302 Marietta Blvd NWAtlanta,佐治亚州 30318,美国”,
“关联”: “https://www.bing.com/maps?where=2302+Marietta+Blvd+NW+Atlanta+30318+GA+US&trk=org-locations_url”
},
{
“地址”: “Lane CtSterling,弗吉尼亚州 20166,美国”,
“关联”: “https://www.bing.com/maps?where=Lane+Ct+Sterling+20166+VA+US&trk=org-locations_url”
},
{
“地址”: “SapirHerzliya,特拉维夫 46000,IL”,
“关联”: “https://www.bing.com/maps?where=Sapir+Herzliya+46000+Tel+Aviv+IL&trk=org-locations_url”
},
{
“地址”: “462 Hazelwood Logistics Center DrHazelwood,密苏里州 63042,美国”,
“关联”: “https://www.bing.com/maps?where=462+Hazelwood+Logistics+Center+Dr+Hazelwood+63042+MO+US&trk=org-locations_url”
},
{
“地址”: “390 Interlocken CrescentBroomfield,科罗拉多州 80021,美国”,
“关联”: “https://www.bing.com/maps?where=390+Interlocken+Crescent+Broomfield+80021+CO+US&trk=org-locations_url”
},
{
“地址”: “10201 Torre AveCupertino,加利福尼亚州 95014,美国”,
“关联”: “https://www.bing.com/maps?where=10201+Torre+Ave+Cupertino+95014+CA+US&trk=org-locations_url”
},
{
“地址”: “700 Westport PkwyFort Worth,TX 76177,美国”,
“关联”: “https://www.bing.com/maps?where=700+Westport+Pkwy+Fort+Worth+76177+TX+US&trk=org-locations_url”
},
{
“地址”: “763 SE Kasota AveMinneapolis, MN 55414, 美国”,
“关联”: “https://www.bing.com/maps?where=763+SE+Kasota+Ave+Minneapolis+55414+MN+US&trk=org-locations_url”
},
{
“地址”: “1850 Mercer RdLexington,肯塔基州 40511,美国”,
“关联”: “https://www.bing.com/maps?where=1850+Mercer+Rd+Lexington+40511+KY+US&trk=org-locations_url”
},
{
“地址”: “美国犹他州西南谷城西 4411 号 2100 邮编 84120”,
“关联”: “https://www.bing.com/maps?where=4411+W+2100+S+West+Valley+City+84120+UT+US&trk=org-locations_url”
},
{
“地址”: “Carrer de l'Alta RibagorcaEl Prat de Llobregat,加泰罗尼亚 08820,ES”,
“关联”: “https://www.bing.com/maps?where=Carrer+de+l'Alta+Ribagorca+El+Prat+de+Llobregat+08820+Catalonia+ES&trk=org-locations_url&”
},
{
“地址”: “11501 Alterra Pkwy 奥斯汀,德克萨斯州 78758,美国”,
“关联”: “https://www.bing.com/maps?where=11501+Alterra+Pkwy+Austin+78758+TX+US&trk=org-locations_url”
},
{
“地址”: “Sikanderpur 立交桥古尔冈,HR 122008,IN”,
“关联”: “https://www.bing.com/maps?where=Sikanderpur+Flyover+Gurugram+122008+HR+IN&trk=org-locations_url”
},
{
“地址”: “2277 Center Square RdLogan Township,新泽西州 08085,美国”,
“关联”: “https://www.bing.com/maps?where=2277+Center+Square+Rd+Logan+Township+08085+NJ+US&trk=org-locations_url”
},
{
“地址”: “Marcel-Breuer-Straße 12慕尼黑,巴伐利亚州 80807,德国”,
“关联”: “https://www.bing.com/maps?where=Marcel-Breuer-Stra%C3%9Fe+12+Munich+80807+Bavaria+DE&trk=org-locations_url”
}
]
},
“公司员工”: [
{
“标题”: 史蒂文·哈奇,
“位置”: “经验丰富的亚马逊工程主管 | 亚马逊的生成式人工智能”,
“关联”: “https://www.linkedin.com/in/hatch?trk=org-employees”,
“图片”: "https://media.licdn.com/dms/image/D4E03AQG823Q38d3Igg/profile-displayphoto-shrink_100_100/0/1673281011530?e=2147483647&v=beta&t=sK2PKC8tMDWU5koa0DpKxZzhQ1Zofs1shi941xNscrQ",
“地点”: ""
},
{
“标题”: 布兰登·威尔逊,
“位置”: “产品管理负责人 | 语音 | 云 | AI”,
“关联”: “https://www.linkedin.com/in/brendonwilson?trk=org-employees”,
“图片”: "https://media.licdn.com/dms/image/C5603AQGpn-EXgHDXiQ/profile-displayphoto-shrink_100_100/0/1526444059773?e=2147483647&v=beta&t=hfK-dOJtTnoAHYmsP53HQl7n9rewgM8_EpzZYwW93cs",
“地点”: ""
},
{
“标题”: “卡拉·H·赫斯特”,
“位置”: “亚马逊首席可持续发展官”,
“关联”: “https://www.linkedin.com/in/karahhurst?trk=org-employees”,
“图片”: "https://media.licdn.com/dms/image/D5603AQFpYGVopejk6g/profile-displayphoto-shrink_100_100/0/1700153802278?e=2147483647&v=beta&t=exoaVmbqrMPy9xjau_dj9x4xgRNhFVoZfDc_WFbi2j8",
“地点”: ""
},
{
“标题”: “约翰·康布斯”,
“位置”: “亚马逊的商业与企业发展”,
“关联”: “https://www.linkedin.com/in/johnmcombs?trk=org-employees”,
“图片”: "https://media.licdn.com/dms/image/C4E03AQEMAiAH3Qu03Q/profile-displayphoto-shrink_100_100/0/1516155765577?e=2147483647&v=beta&t=FhQvl_SXSxTTO6ZQt-Hb-BXzqOAYJpqdnZ3tcPkaI_w",
“地点”: ""
}
],
“更新”: [
{
“演员”: “亚马逊”,
“actorLink”: “https://www.linkedin.com/company/amazon?trk=organization_guest_main-feed-card_feed-actor-name”,
“发布日期”: “7小时”,
“文本”: “想要提升你的人工智能技能?💥 研究表明,拥有强大人工智能技能的专业人士可以获得更高的薪水——IT 领域薪水最高可高出 47%,销售和营销领域薪水最高可高出 43%,金融领域薪水最高可高出 42%。亚马逊网络服务 (AWS) 为您提供了两项新的 AWS 认证——一项是关于人工智能基础的,另一项是关于机器学习的。以下是细分。⬇️ 1️⃣ AWS 认证人工智能从业者:这一项不仅适用于技术人员。如果您在市场营销、销售、财务或人力资源等领域工作,您可以增加对人工智能和 Gen AI 概念的了解,同时学习如何在工作场所使用人工智能工具的机会。 2️⃣ AWS 认证机器学习工程师 - 助理:这项认证专为拥有更多 ML 经验的人设计。如果您想验证自己可以构建、部署和维护用于实时使用的人工智能模型,那么这项认证适合您。无论您是刚开始探索人工智能职业的学生,​​还是希望取得成功的专业人士,这些新认证都可以帮助您保持领先地位edge。我们很好奇:您是否有兴趣提升您的 AI 技能?📕 💡 了解更多信息:https://amzn.to/3RnMxCw”,
“媒体”: [],
“反应计数”: 291,
“评论数”: 39,
“文本链接”: [
“https://www.linkedin.com/company/amazon-web-services?trk=organization_guest_main-feed-card-text”,
“https://amzn.to/3RnMxCw?trk=organization_guest_main-feed-card-text”
],
“文本标签”: []
},
{
“演员”: “亚马逊”,
“actorLink”: “https://www.linkedin.com/company/amazon?trk=organization_guest_main-feed-card_feed-actor-name”,
“发布日期”: “1d”,
“文本”: “观看以下视频,亚马逊领导者将分享他们最好的职业建议。在我们的 Meet the Leader 系列的汇编中,他们回答了一些尖锐的问题,包括《星球大战》与《星际迷航》。您最好的领导秘诀是什么?⭐ 在下面的评论中写下它们。⬇️ 在此处了解更多信息:https://amzn.to/3xfURO0”,
“媒体”: [],
“反应计数”: 747,
“评论数”: 51,
“文本链接”: [“https://amzn.to/3xfURO0?trk=organization_guest_main-feed-card-text”],
“文本标签”: []
},
{
“演员”: “亚马逊”,
“actorLink”: “https://www.linkedin.com/company/amazon?trk=organization_guest_main-feed-card_feed-actor-name”,
“发布日期”: “3d”,
“文本”: “🗽 走进我们最新的纽约办公室,感受历史。这里原本是美国最早的百货公司之一,我们将这个标志性的 Lord & Taylor 纽约地标恢复到其本源,并加入了现代元素。”,
“媒体”: [],
“反应计数”: 2870,
“评论数”: 130,
“文本链接”: [],
“文本标签”: []
},
{
“演员”: “亚马逊”,
“actorLink”: “https://www.linkedin.com/company/amazon?trk=organization_guest_main-feed-card_feed-actor-name”,
“发布日期”: “1瓦”,
“文本”: “🏋️♂️ 见见亚马逊自己的大力士!🏋️♂️ 本周末,来自英国布里斯托尔的 27 岁卢克·斯佩杜蒂 (Luke Sperduti) 将争夺英国最强壮男人的称号。💪 自 2020 年加入亚马逊以来,卢克已升任运营主管,并将很快接受新的挑战。他的强壮之旅始于皇家工程兵团,在那里他对举重运动产生了浓厚的兴趣。在令人印象深刻的饮食的推动下,卢克的日常摄入量包括粥、意大利饺子面食和每天 4-5 顿饭,总计约 6000 卡路里。🍽️ 大家祝卢克在比赛前好运!加油,卢克!”,
“媒体”: [],
“反应计数”: 4129,
“评论数”: 171,
“文本链接”: [],
“文本标签”: []
},
{
“演员”: “亚马逊”,
“actorLink”: “https://www.linkedin.com/company/amazon?trk=organization_guest_main-feed-card_feed-actor-name”,
“发布日期”: “1瓦”,
“文本”: “爱你想爱的人。做你想做的人。为平等干杯。为骄傲干杯。🏳️🌈 🏳️⚧️”,
“媒体”: [],
“反应计数”: 2934,
“评论数”: 152,
“文本链接”: [],
“文本标签”: []
},
{
“演员”: 马特·加曼,
“actorLink”: “https://www.linkedin.com/in/mattgarman?trk=organization_guest_main-feed-card_feed-actor-name”,
“发布日期”: “1瓦”,
“文本”: “亚马逊转发了这篇文章,分享我今天发给所有 AWS 员工的一封信:团队,在过去的 18 年里,我有幸与地球上最有才华、最具创新精神和最以客户为中心人的人一起工作。这段旅程简直令人惊叹,今天,我非常高兴地迎来了担任 AWS 首席执行官的第一天。从一开始,我们就致力于提供创新的产品和服务,为我们的客户解决实际问题,并预测他们尚未遇到的问题。我喜欢这种对客户的痴迷,它让我们能够解决有时看似不可能的事情——这种不懈的专注至今仍是我们的核心。我们仍然致力于提供安全、高性能、可持续和运营卓越的云基础设施和服务,客户和合作伙伴可以信赖这些基础设施和服务,并将它们最宝贵的数据和工作负载放在这些基础设施和服务上。我们在生成式人工智能方面看到的进步为我们提供了一生中最激动人心的技术机遇之一,感谢你们所有人,我们正在帮助各行各业的数以万计的客户快速采用这项技术并改变他们的工作方式。随着我们不断扩展我们的构建模块来帮助客户利用新技术,我们也在不断扩大我们在全球的基础设施,以帮助他们安全地运行关键任务工作负载。AWS 一直是一个接受和赞扬明智冒险、客户至上和永无止境的创新动力的地方。有了这个基础,未来就有巨大的机会。我期待着一起创造下一个篇章。Matt”,
“媒体”: [],
“反应计数”: 18587,
“评论数”: 548,
“文本链接”: [
“https://www.linkedin.com/company/amazon?trk=organization_guest_main-feed-card_feed-reaction-header”
],
“文本标签”: []
},
{
“演员”: “亚马逊”,
“actorLink”: “https://www.linkedin.com/company/amazon?trk=organization_guest_main-feed-card_feed-actor-name”,
“发布日期”: “1瓦”,
“文本”: “很高兴被《时代》杂志评选为 100 年 2024 家最具影响力的公司之一。《时代》杂志的年度榜单反映了在全球范围内产生非凡影响的公司——对我们来说,这包括我们对 #AI 的投资和在南非的扩张。评选过程涉及跨行业的提名,然后由《时代》杂志的编辑根据影响力、创新、雄心和成功等关键标准进行严格评估。🙏 完整文章在这里:https://amzn.to/3VaN2RA”,
“媒体”: [],
“反应计数”: 1596,
“评论数”: 123,
“文本链接”: [
“https://www.linkedin.com/company/time?trk=organization_guest_main-feed-card-text”,
“https://amzn.to/3VaN2RA?trk=organization_guest_main-feed-card-text”
],
“文本标签”: [
{
“井号”: “#人工智能”,
“关联”: “https://www.linkedin.com/signup?session_redirect=https://www.linkedin.com/feed/hashtag/ai&trk=organization_guest_main-feed-card-text”
}
]
},
{
“演员”: “亚马逊”,
“actorLink”: “https://www.linkedin.com/company/amazon?trk=organization_guest_main-feed-card_feed-actor-name”,
“发布日期”: “2瓦”,
“文本”: “每天上班都能看到这些面孔真是幸福!🐶”,
“媒体”: [],
“反应计数”: 29531,
“评论数”: 653,
“文本链接”: [],
“文本标签”: []
},
{
“演员”: “亚马逊”,
“actorLink”: “https://www.linkedin.com/company/amazon?trk=organization_guest_main-feed-card_feed-actor-name”,
“发布日期”: “2瓦”,
“文本”: “在快速应对自然灾害至关重要的时刻,我们迈出了决定性的一步:我们位于德国杜塞尔多夫附近莱茵贝格的新救灾基地现已投入运营。🚀 🇩🇪 我们在德国、澳大利亚、印度、日本和美国设有 13 个救灾中心。这些基地使我们能够利用我们的全球物流网络快速运送救援物资,有效应对洪水、火灾和地震等紧急情况。我们的库存物品包括帐篷、毯子、行军床、垫子、睡袋和带有肥皂、牙刷和牙膏的卫生用品包。我们的数据分析证实,发生灾难时所需的物品中 80% 以上都是相同的,这突显了我们的准备和效率。我们与德国红十字会、德国救助儿童会和联合国移民组织等国家和国际援助组织密切合作,以满足他们的需求并提前采购他们需要的产品。👀 谢谢感谢我们的团队和非政府组织合作伙伴共同努力建设这一目标。👏 ⛑️”,
“媒体”: [],
“反应计数”: 2350,
“评论数”: 117,
“文本链接”: [
“https://de.linkedin.com/company/deutschesroteskreuz?trk=organization_guest_main-feed-card-text”,
“https://de.linkedin.com/company/save-the-children-deutschland?trk=organization_guest_main-feed-card-text”,
“https://ch.linkedin.com/company/iom?trk=organization_guest_main-feed-card-text”
],
“文本标签”: []
},
{
“演员”: “亚马逊”,
“actorLink”: “https://www.linkedin.com/company/amazon?trk=organization_guest_main-feed-card_feed-actor-name”,
“发布日期”: “已编辑 2 周”,
“文本”: “\”我认为,你在职业生涯中的表现很大程度上与态度有关。你努力工作吗?你是否更敢做敢为而不是说反对?你准时出现吗?你是否会做你说要做的事?你能在团队中工作吗?这些事情看起来很简单,在你的工作生活中有很多你无法控制的事情,但你可以控制你的态度。\”我们的首席执行官 Andy Jassy 接受了 LinkedIn 首席执行官 Ryan Roslansky 的独家采访,谈论了他独特的职业生涯,包括他的 3 条最重要的职业建议。你一定要看看!⬇️ 你会给别人什么职业建议?,
“媒体”: [],
“反应计数”: 2409,
“评论数”: 136,
“文本链接”: [
“https://www.linkedin.com/in/andy-jassy-8b1615?trk=organization_guest_main-feed-card-text”,
“https://www.linkedin.com/company/linkedin?trk=organization_guest_main-feed-card-text”,
“https://www.linkedin.com/in/ryanroslansky?trk=organization_guest_main-feed-card-text”
],
“文本标签”: []
}
],
“附属页面”: [],
“类似页面”: [
{
“标题”: “谷歌”,
“字幕”: “软件开发”,
“地点”: “加利福尼亚州山景城”,
“关联”: “https://www.linkedin.com/company/google?trk=similar-pages”,
“图片”: "https://media.licdn.com/dms/image/C4D0BAQHiNSL4Or29cg/company-logo_100_100/0/1631311446380?e=2147483647&v=beta&t=5bmvSDVt4i-ECxTU43yiS4iXUM4inJiG-e9PHOUlxx0"
},
{
“标题”: “微软”,
“字幕”: “软件开发”,
“地点”: “华盛顿州雷德蒙德”,
“关联”: “https://www.linkedin.com/company/microsoft?trk=similar-pages”,
“图片”: "https://media.licdn.com/dms/image/C560BAQE88xCsONDULQ/company-logo_100_100/0/1630652622688/microsoft_logo?e=2147483647&v=beta&t=4ft1hh_UdO2TMuqRWlFPHTTr2B3BN0E2LmTE6tEYwJI"
},
{
“标题”: “苹果”,
“字幕”: “计算机和电子制造”,
“地点”: “加利福尼亚州库比蒂诺”,
“关联”: “https://www.linkedin.com/company/apple?trk=similar-pages”,
“图片”: "https://media.licdn.com/dms/image/C560BAQHdAaarsO-eyA/company-logo_100_100/0/1630637844948/apple_logo?e=2147483647&v=beta&t=9XgJ_AXIJiidixRVc0ZwJj-822U17Q2mbkNSPpTqbXg"
},
{
“标题”: “德勤”,
“字幕”: “商业咨询与服务”,
“地点”: "",
“关联”: “https://www.linkedin.com/company/deloitte?trk=similar-pages”,
“图片”: "https://media.licdn.com/dms/image/C560BAQGNtpblgQpJoQ/company-logo_100_100/0/1662120928214/deloitte_logo?e=2147483647&v=beta&t=KhIfaHWyu1aAgyyImEhYDprMjFP3LaMR0E7NF2MPxMY"
},
{
“标题”: “网飞”,
“字幕”: “娱乐提供商”,
“地点”: “加利福尼亚州洛斯加托斯”,
“关联”: “https://www.linkedin.com/company/netflix?trk=similar-pages”,
“图片”: "https://media.licdn.com/dms/image/C4E0BAQEVb0ZISWk8vQ/company-logo_100_100/0/1631355051964?e=2147483647&v=beta&t=_82G5gJfq-rmofKHPHZOMBYvtHfTF8Z2qA_zAUvcVV4"
},
{
“标题”: “IBM”,
“字幕”: “IT 服务和 IT 咨询”,
“地点”: “纽约州阿蒙克市”,
“关联”: “https://www.linkedin.com/company/ibm?trk=similar-pages”,
“图片”: "https://media.licdn.com/dms/image/D560BAQGiz5ecgpCtkA/company-logo_100_100/0/1688684715866/ibm_logo?e=2147483647&v=beta&t=5zkuzxYrW1Iyx8oUa-u7lMSQ9TN1Q9D87M_0ybQf3NQ"
},
{
“标题”: “元”,
“字幕”: “软件开发”,
“地点”: “加利福尼亚州门洛帕克”,
“关联”: “https://www.linkedin.com/company/meta?trk=similar-pages”,
“图片”: "https://media.licdn.com/dms/image/C4E0BAQFdNatYGiBelg/company-logo_100_100/0/1636138754252/facebook_logo?e=2147483647&v=beta&t=ULaTUKRgzMzLCy5-pLoRMfMKpEI4OApXM5C9pEDZSDs"
},
{
“标题”: “Flipkart”,
“字幕”: “科技、信息和互联网”,
“地点”: “卡纳塔克邦班加罗尔”,
“关联”: “https://in.linkedin.com/company/flipkart?trk=similar-pages”,
“图片”: "https://media.licdn.com/dms/image/C560BAQF6H8gAs-JyFg/company-logo_100_100/0/1630669478258/flipkart_logo?e=2147483647&v=beta&t=AfdreZVmMDcWw7rYTg7ythrTwdm4yKU2gYlM90Stnd0"
},
{
“标题”: “亚马逊网络服务 (AWS)”,
“字幕”: “IT 服务和 IT 咨询”,
“地点”: “华盛顿州西雅图市”,
“关联”: “https://www.linkedin.com/company/amazon-web-services?trk=similar-pages”,
“图片”: "https://media.licdn.com/dms/image/C560BAQER_QnUTXrPJw/company-logo_100_100/0/1670264051233/amazon_web_services_logo?e=2147483647&v=beta&t=tI5mZm2XR_yMnLD5LQNmk8dQtVwGevKFXUHJlb8I_wE"
},
{
“标题”: “塔塔咨询服务公司”,
“字幕”: “IT 服务和 IT 咨询”,
“地点”: “孟买,马哈拉施特拉邦”,
“关联”: “https://in.linkedin.com/company/tata-consultancy-services?trk=similar-pages”,
“图片”: "https://media.licdn.com/dms/image/D4D0BAQGsGR9p4ikS5w/company-logo_100_100/0/1708946550425/tata_consultancy_services_logo?e=2147483647&v=beta&t=jw02JCmA90t0qWePW3z8_xCTUrKd51xsWMD7K3Uqtzc"
}
],
“资金”: {
“基本信息”: {
“名称”: “亚马逊”,
“回合”: “共 3 轮”,
“关联”: “https://www.crunchbase.com/organization/amazon/funding_rounds/funding_rounds_list?utm_source=linkedin&utm_medium=referral&utm_campaign=linkedin_companies&utm_content=all_fundings_anon&trk=funding_all-rounds”
},
“最后一轮”: {
“标题”: “IPO后债务”,
“类型”: "",
“日期”: “3 年 2023 月 XNUMX 日”,
“关联”: "",
“钱”: “8.0亿美元”
},
“投资者”: []
},
“库存”: {
“符号”: "",
“日期”: "",
“数据”: {
“符号”: ,
“延迟”:
},
“价钱”: "",
“价格变化”: "",
“价格日报”: {},
“数据源”: “数据来自 Refinitiv”
},
“产品”: []
}

通过遵循这些步骤,您可以使用 Crawlbase 的 API 高效地抓取 LinkedIn 公司页面。在下一节中,我们将介绍如何抓取 LinkedIn 信息。

Crawlbase LinkedIn 信息抓取工具

最后,让我们探索如何使用 Crawlbase 的 LinkedIn 信息抓取工具从 LinkedIn 信息中提取有价值的数据。

抓取 LinkedIn 动态

要抓取 LinkedIn 信息流,您需要遵循与抓取个人资料和公司页面类似的流程。具体操作如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
 爬行基地 进口 抓取API
进口 JSON

# 使用您的访问令牌初始化 Crawlbase API
爬行 API = 爬行 API({ '令牌': '你的 API 令牌' })

网址= “https://www.linkedin.com/feed/update/urn:li:activity:7022155503770251267”

选项= {
'刮刀': 'linkedin-feed',
‘异步’: '真的'
}

# 使用 Crawlbase API 发出请求的函数
DEF make_crawlbase_request(网址):
响应=crawling_api.get(url,选项)
if 回复['状态代码'] == 200:
回报 json.loads(响应['身体']。解码('拉丁1'))
其他:
打印(“无法获取页面。状态代码:”, 回复['状态代码'])
回报 不包含

DEF 抓取饲料(网址):
尝试:
json_response = make_crawlbase_request(url)
if json_响应:
回报 json_响应
特殊课程 as e:
打印(f"请求失败: {e}")

回报 不包含

if __名字__ == '__主要__':
scraped_data = scrape_feed(网址)
打印(json.dumps(scraped_data, 缩进=2))

此脚本初始化 Crawlbase API,设置要抓取的 LinkedIn 信息流的 URL,并指定 linkedin-feed 抓取工具。然后,该脚本发出异步请求以获取信息流数据并打印 JSON 响应。

示例输出:

1
2
3
{
“摆脱”: "977b3381ab11f938d6522775"
}

从 Crawlbase Storage API 检索数据

与个人资料和公司页面抓取一样,异步请求将返回 rid。 你可以用这个 rid 检索存储的数据。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
 爬行基地 进口 存储API
进口 JSON

# 使用你的访问令牌初始化 Crawlbase Storage API
storage_api = StorageAPI({ '令牌': '你的 API 令牌' })

RID = ‘你的请求标识符’

# 从 Crawlbase 存储中检索数据的函数
DEF 检索数据(摆脱):
响应 = storage_api.get(来自 https://api.crawlbase.com/storage?rid={摆脱}')
if 回复['状态代码'] == 200:
回报 json.loads(响应['身体']。解码('拉丁1'))
其他:
打印(“无法检索数据。状态代码:”, 回复['状态代码'])
回报 不包含

if __名字__ == '__主要__':
检索到的数据 = 检索到的数据(RID)
打印(json.dumps(retrieved_data,缩进=2))

此脚本使用以下方式检索并打印存储的供稿数据: rid.

示例输出:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
{
“feeds” (提要): [
{
“文本”: “#AlphabetInc 首席执行官在一份员工备忘录中表示,该公司将裁员 12,000 人。此次裁员是 #technology 行业的最新一次动摇,几天前,该公司竞争对手微软公司宣布将裁员 10,000 人。完整报告 - https://lnkd.in/dfxXc2N4”,
“图片”: [
"https://media.licdn.com/dms/image/C4D22AQHvTzTp5mnMcg/feedshare-shrink_2048_1536/0/1674212335928?e=2147483647&v=beta&t=Aq3WKkxF1Q5ZwGB6ax6OOWRtCW7Vlz8KDdpBvvK4K_0"
],
“视频”: [],
“约会时间”: “1岁”,
“postUrl”: “https://in.linkedin.com/company/hindustantimes?trk=public_post_feed-actor-image”,
“用户名”: 《印度斯坦时报》,
“反应计数”: 1177,
“评论数”: 13,
“链接”: [
{
“文本”: “#AlphabetInc”,
“网址”: "https://www.linkedin.com/signup/cold-join?session_redirect=https%3A%2F%2Fwww.linkedin.com%2Ffeed%2Fhashtag%2Falphabetinc&trk=public_post-text"
},
{
“文本”: “#技术”,
“网址”: "https://www.linkedin.com/signup/cold-join?session_redirect=https%3A%2F%2Fwww.linkedin.com%2Ffeed%2Fhashtag%2Ftechnology&trk=public_post-text"
},
{
“文本”: “https://lnkd.in/dfxXc2N4”,
“网址”: “https://lnkd.in/dfxXc2N4?trk=public_post-text”
}
],
“评论”: [
{
“用户名”: “achuthananadan jeevandas”,
“轮廓”: “https://in.linkedin.com/in/achuthananadan-jeevandas-861265181?trk=public_post_comment_actor-name”,
“标题”: “让我们从物理世界走向虚拟现实世界,在元宇宙中占领一席之地——教育、赋权、参与互联网上的 WEB3.0,与元宇宙的热情人士携手合作”,
“文本”: “我们都知道他很难做出这个决定。此时此刻我们都应该支持他。”
},
{
“用户名”: “阿尔皮特·萨克塞纳”,
“轮廓”: “https://in.linkedin.com/in/arpit-saxena-074266135?trk=public_post_comment_actor-name”,
“标题”: “\”金融工程师——每笔交易都是迈向成功的一步。尝试将银行业务的科技与传统相结合,确保无缝财务可持续性。\” 成本有效,简单易行。创始人@unity_fintech”,
“文本”: “他们将创建一家可与谷歌媲美的新公司🤣🤣🤣🤣我们都要对自己的业力负责🙂”
},
{
“用户名”: “chandan chhavi”,
“轮廓”: “https://ae.linkedin.com/in/chandan-chhavi-62b49a18?trk=public_post_comment_actor-name”,
“标题”: “安全驾驶”,
“文本”: “在封锁期间,所有人都增加了体重,甚至公司也是如此。现在他们正在减肥。”
},
{
“用户名”: “阿拉文丹 AR”,
“轮廓”: “https://in.linkedin.com/in/aravindanparashar?trk=public_post_comment_actor-name”,
“标题”: “拥有 18 年以上经验的零售专业人士”,
“文本”: “上帝保佑就业。如果大型跨国公司裁员,小公司怎么办?通货膨胀就在眼前”
},
{
“用户名”: “阿西什·比绍伊”,
“轮廓”: “https://in.linkedin.com/in/asishbishoi?trk=public_post_comment_actor-name”,
“标题”: “立即加入 | 系统工程师 | TCS | 1 x AWS 认证 | 全栈 | MySQL | MongoDB |”,
“文本”: “我认为裁员已经发生了。”
},
{
“用户名”: “卡尼卡·乔杜里”,
“轮廓”: “https://in.linkedin.com/in/kanikachaudhary25?trk=public_post_comment_actor-name”,
“标题”: “人力资源主管 | 志愿者”,
“文本”: “这太离奇了!我看到的都是裁员。这是对所有公司的请求,请找到其他出路。#悲伤”
},
{
“用户名”: “理查德·C·克拉克,MISM”,
“轮廓”: “https://www.linkedin.com/in/rickclark1972?trk=public_post_comment_actor-name”,
“标题”: “制造技术员/(上尉,FA,USRA)”,
“文本”: “这并不奇怪。高管们不会为了他人的利益而牺牲自己的利润。”
},
{
“用户名”: “桑乔伊·古普塔”,
“轮廓”: “https://in.linkedin.com/in/sunjoy-gupta-b50a7792?trk=public_post_comment_actor-name”,
“标题”: “Galaxy Tech 的业务主管”,
“文本”: “哇,这就是‘Show Stopper’”
},
{
“用户名”: “贾迪普·查特吉”,
“轮廓”: “https://in.linkedin.com/in/jaideep-chatterjee-556ab433?trk=public_post_comment_actor-name”,
“标题”: “管理研究副教授、考官和作家”,
“文本”: “数字化的生活……”
},
{
“用户名”: “Madhvi S。”,
“轮廓”: “https://in.linkedin.com/in/madhvi-s-59459a63?trk=public_post_comment_actor-name”,
“标题”: “应付账款(P2P)”,
“文本”: “最糟糕的情况”
}
]
},
{
“文本”: “在 #US 宣布针对 #Russia 金融机构的一系列新措施后,莫斯科交易所 (MOEX) 于 12 月 XNUMX 日暂停了美元和欧元交易。”,
“图片”: [],
“视频”: [
{
“海报”: "https://media.licdn.com/dms/image/D5605AQEiJr5OjFFakg/feedshare-thumbnail_720_1280/0/1718281419437?e=2147483647&v=beta&t=expMXkSOdZC3b4J6CfjyQTCxJCWA3xfjTwOYtCvzwPs",
“源”: ,
“期间”: “0:00”
}
],
“约会时间”: “3小时”,
“postUrl”: “https://www.linkedin.com/posts/hindustantimes_us-russia-activity-7207079298128568320-3lh5”,
“用户名”: 《印度斯坦时报》,
“反应计数”: 34,
“评论数”: "",
“链接”: [
{
“文本”: “#我们”,
“网址”: "https://www.linkedin.com/signup/cold-join?session_redirect=https%3A%2F%2Fwww.linkedin.com%2Ffeed%2Fhashtag%2Fus&trk=public_post_main-feed-card-text"
},
{
“文本”: “#俄罗斯”,
“网址”: "https://www.linkedin.com/signup/cold-join?session_redirect=https%3A%2F%2Fwww.linkedin.com%2Ffeed%2Fhashtag%2Frussia&trk=public_post_main-feed-card-text"
}
],
“评论”: []
},
{
“文本”: “纳伦德拉·莫迪总理启程前往意大利。应意大利总理乔治娅·梅洛尼的邀请,莫迪总理将于 7 月 14 日前往意大利普利亚参加 G46 外联峰会。两位领导人将在峰会期间举行双边会晤。跟踪更新 https://lnkd.in/fWuZPXNUMX”,
“图片”: [],
“视频”: [
{
“海报”: "https://media.licdn.com/dms/image/D5605AQGmExZtcZia2A/videocover-high/0/1718300978958?e=2147483647&v=beta&t=pWo8ZjNAXsGWH996OgBfKHRcKwzhrlQcufznC9L0xeA",
“源”: ,
“期间”: “0:00”
}
],
“约会时间”: “4小时”,
“postUrl”: “https://www.linkedin.com/posts/hindustantimes_prime-minister-narendra-modi-departs-for-activity-7207076689825136641-AjzN”,
“用户名”: 《印度斯坦时报》,
“反应计数”: 654,
“评论数”: 12,
“链接”: [
{
“文本”: “https://lnkd.in/fWuZP46”,
“网址”: “https://lnkd.in/fWuZP46?trk=public_post_main-feed-card-text”
}
],
“评论”: []
},
{
“文本”: “科威特一栋居住着外国劳工的公寓楼导致 49 名工人死亡,至少 50 人受伤。据官员证实,在 49 名伤亡者中,有 41 名劳工是印度人。国防部长 KV Singh 会见了受伤的印度人,并重申他们很安全并正在接受治疗。https://lnkd.in/gtGWVt4Y”,
“图片”: [
"https://media.licdn.com/dms/image/D5622AQEl2jgA25s9nA/feedshare-shrink_2048_1536/0/1718300926772?e=2147483647&v=beta&t=7OD5_sQi6vGwAP8EGexEpZ8KrRFnr7grgEJy0Evcw8E",
"https://media.licdn.com/dms/image/D5622AQF8u56P85vfRQ/feedshare-shrink_2048_1536/0/1718300923405?e=2147483647&v=beta&t=At_OjVduEnDGSTtwtGZxoxglZo21AnWRf0s4wp0lEYE",
"https://media.licdn.com/dms/image/D5622AQFP5svgXO487A/feedshare-shrink_2048_1536/0/1718300924445?e=2147483647&v=beta&t=M6lvz_7tCJZLsXQaACxAt4DBFVSaoAtVbu2cQRJmbnk"
],
“视频”: [],
“约会时间”: “4小时”,
“postUrl”: “https://www.linkedin.com/posts/hindustantimes_an-apartment-building-in-kuwait-housing-activity-7207076458437959680-ZkdS”,
“用户名”: 《印度斯坦时报》,
“反应计数”: 230,
“评论数”: "",
“链接”: [
{
“文本”: “https://lnkd.in/gtGWVt4Y”,
“网址”: “https://lnkd.in/gtGWVt4Y?trk=public_post_main-feed-card-text”
}
],
“评论”: []
},
{
“文本”: “印度新德里发生 #水危机,德里水务局的一条水管爆裂。📸Sanchit Khanna/ HT”,
“图片”: [
"https://media.licdn.com/dms/image/D5622AQHT0XE7q9TNdQ/feedshare-shrink_2048_1536/0/1718281871877?e=2147483647&v=beta&t=zVWgjZuvzglA8Wqe7UHTl7dkFMO2FKj9lNtIkk6YyKo",
"https://media.licdn.com/dms/image/D5622AQGtOF6ciCUBEA/feedshare-shrink_800/0/1718281872017?e=2147483647&v=beta&t=vlzP2jCvFz3ycf1AYVbtyBvBGdnmiGJ5IJrVCY4nDWk",
"https://media.licdn.com/dms/image/D5622AQEQMgQ43_qkFw/feedshare-shrink_800/0/1718281871798?e=2147483647&v=beta&t=O4lFO4FCF-aLU8r9-m_iuGD25z3QH_bbP5YEB09GIx0"
],
“视频”: [],
“约会时间”: “4小时”,
“postUrl”: “https://www.linkedin.com/posts/hindustantimes_delhi-watercrisis-activity-7207071754979078144-DOFk”,
“用户名”: 《印度斯坦时报》,
“反应计数”: "",
“评论数”: "",
“链接”: [
{
“文本”: “#德里”,
“网址”: "https://www.linkedin.com/signup/cold-join?session_redirect=https%3A%2F%2Fwww.linkedin.com%2Ffeed%2Fhashtag%2Fdelhi&trk=public_post_main-feed-card-text"
},
{
“文本”: “#水危机”,
“网址”: "https://www.linkedin.com/signup/cold-join?session_redirect=https%3A%2F%2Fwww.linkedin.com%2Ffeed%2Fhashtag%2Fwatercrisis&trk=public_post_main-feed-card-text"
}
],
“评论”: []
},
{
“文本”: “#哈马斯批评#美国国务卿#安东尼·布林肯将停火谈判陷入僵局归咎于该组织。”,
“图片”: [],
“视频”: [
{
“海报”: "https://media.licdn.com/dms/image/D5605AQHN2qtA8Jqh-g/feedshare-thumbnail_720_1280/0/1718281214449?e=2147483647&v=beta&t=WqfahQkQtNSt0AKZgn7cXP3HfMAJJ-RoFyWwCu42npY",
“源”: ,
“期间”: “0:00”
}
],
“约会时间”: “4小时”,
“postUrl”: “https://www.linkedin.com/posts/hindustantimes_hamas-us-antonyblinken-activity-7207064191281623044-mxI5”,
“用户名”: 《印度斯坦时报》,
“反应计数”: 20,
“评论数”: "",
“链接”: [
{
“文本”: “#哈马斯”,
“网址”: "https://www.linkedin.com/signup/cold-join?session_redirect=https%3A%2F%2Fwww.linkedin.com%2Ffeed%2Fhashtag%2Fhamas&trk=public_post_main-feed-card-text"
},
{
“文本”: “#我们”,
“网址”: "https://www.linkedin.com/signup/cold-join?session_redirect=https%3A%2F%2Fwww.linkedin.com%2Ffeed%2Fhashtag%2Fus&trk=public_post_main-feed-card-text"
},
{
“文本”: “#安东尼·布林肯”,
“网址”: "https://www.linkedin.com/signup/cold-join?session_redirect=https%3A%2F%2Fwww.linkedin.com%2Ffeed%2Fhashtag%2Fantonyblinken&trk=public_post_main-feed-card-text"
}
],
“评论”: []
},
{
“文本”: “在持续不断的#heatwave 中,#Noida 的空调爆炸引发了一场大火。如果你住在多层建筑中,你应该知道以下信息。滑动屏幕了解更多详情:https://lnkd.in/gb-3-yeJ”,
“图片”: [],
“视频”: [],
“约会时间”: “5小时”,
“postUrl”: “https://www.linkedin.com/posts/hindustantimes_noida-blast-activity-7207056677081088001-Ybb7”,
“用户名”: 《印度斯坦时报》,
“反应计数”: 121,
“评论数”: 1,
“链接”: [
{
“文本”: “#热浪”,
“网址”: "https://www.linkedin.com/signup/cold-join?session_redirect=https%3A%2F%2Fwww.linkedin.com%2Ffeed%2Fhashtag%2Fheatwave&trk=public_post_main-feed-card-text"
},
{
“文本”: “#诺伊达”,
“网址”: "https://www.linkedin.com/signup/cold-join?session_redirect=https%3A%2F%2Fwww.linkedin.com%2Ffeed%2Fhashtag%2Fnoida&trk=public_post_main-feed-card-text"
},
{
“文本”: “https://lnkd.in/gb-3-yeJ”,
“网址”: “https://lnkd.in/gb-3-yeJ?trk=public_post_main-feed-card-text”
}
],
“评论”: []
},
{
“文本”: “总理#NarendraModi 第三任期内首次出国访问:#India 在#Italy 的#G3Summit 上有什么议程?”,
“图片”: [],
“视频”: [
{
“海报”: "https://media.licdn.com/dms/image/D5605AQF2GsUOSXLaYQ/feedshare-thumbnail_720_1280/0/1718280903846?e=2147483647&v=beta&t=Z_xZfBeMPUxEkznjV2LK-SDXgmBqQdq6WOKhJxoqemg",
“源”: ,
“期间”: “0:00”
}
],
“约会时间”: “5小时”,
“postUrl”: “https://www.linkedin.com/posts/hindustantimes_narendramodi-india-g7summit-activity-7207049091053211649-S9DD”,
“用户名”: 《印度斯坦时报》,
“反应计数”: 385,
“评论数”: 4,
“链接”: [
{
“文本”: “#纳伦德拉·莫迪”,
“网址”: "https://www.linkedin.com/signup/cold-join?session_redirect=https%3A%2F%2Fwww.linkedin.com%2Ffeed%2Fhashtag%2Fnarendramodi&trk=public_post_main-feed-card-text"
},
{
“文本”: “#印度”,
“网址”: "https://www.linkedin.com/signup/cold-join?session_redirect=https%3A%2F%2Fwww.linkedin.com%2Ffeed%2Fhashtag%2Findia&trk=public_post_main-feed-card-text"
},
{
“文本”: “#G7峰会”,
“网址”: "https://www.linkedin.com/signup/cold-join?session_redirect=https%3A%2F%2Fwww.linkedin.com%2Ffeed%2Fhashtag%2Fg7summit&trk=public_post_main-feed-card-text"
},
{
“文本”: “#意大利”,
“网址”: "https://www.linkedin.com/signup/cold-join?session_redirect=https%3A%2F%2Fwww.linkedin.com%2Ffeed%2Fhashtag%2Fitaly&trk=public_post_main-feed-card-text"
}
],
“评论”: []
},
{
“文本”: “一位初创公司联合创始人在分享#LinkedIn 在 X 上的个人资料截图时表示,这是‘有史以来最荒谬的教育史’。”,
“图片”: [],
“视频”: [],
“约会时间”: “6小时”,
“postUrl”: “https://www.linkedin.com/posts/hindustantimes_thanos-of-linkedin-profile-with-oxford-activity-7207041555327537154-ADFp”,
“用户名”: 《印度斯坦时报》,
“反应计数”: 8,
“评论数”: "",
“链接”: [
{
“文本”: #LinkedIn,
“网址”: "https://www.linkedin.com/signup/cold-join?session_redirect=https%3A%2F%2Fwww.linkedin.com%2Ffeed%2Fhashtag%2Flinkedin&trk=public_post_main-feed-card-text"
}
],
“评论”: []
},
{
“文本”: “在黎巴嫩真主党武装组织针对以色列北部发动最大规模袭击后,以色列国防军加强了对该组织的攻势。”,
“图片”: [],
“视频”: [
{
“海报”: "https://media.licdn.com/dms/image/D5605AQGLHPppL1TVrA/feedshare-thumbnail_720_1280/0/1718277003542?e=2147483647&v=beta&t=1OHZ_B4EpUxLUZ0B3-O61JFbQ-3Yk-RowxoGq4sq1S4",
“源”: ,
“期间”: “0:00”
}
],
“约会时间”: “6小时”,
“postUrl”: “https://www.linkedin.com/posts/hindustantimes_israeli-lebanon-hezbollah-activity-7207033980276121601-vDvH”,
“用户名”: 《印度斯坦时报》,
“反应计数”: 106,
“评论数”: 3,
“链接”: [
{
“文本”: “#以色列”,
“网址”: "https://www.linkedin.com/signup/cold-join?session_redirect=https%3A%2F%2Fwww.linkedin.com%2Ffeed%2Fhashtag%2Fisraeli&trk=public_post_main-feed-card-text"
},
{
“文本”: “#黎巴嫩”,
“网址”: "https://www.linkedin.com/signup/cold-join?session_redirect=https%3A%2F%2Fwww.linkedin.com%2Ffeed%2Fhashtag%2Flebanon&trk=public_post_main-feed-card-text"
},
{
“文本”: “#真主党”,
“网址”: "https://www.linkedin.com/signup/cold-join?session_redirect=https%3A%2F%2Fwww.linkedin.com%2Ffeed%2Fhashtag%2Fhezbollah&trk=public_post_main-feed-card-text"
},
{
“文本”: “#以色列”,
“网址”: "https://www.linkedin.com/signup/cold-join?session_redirect=https%3A%2F%2Fwww.linkedin.com%2Ffeed%2Fhashtag%2Fisrael&trk=public_post_main-feed-card-text"
}
],
“评论”: []
},
{
“文本”: “#InPics | 27 年 13 月 2024 日,印度新德里格林公园 Uphaar 电影院前的 Uphaar 纪念馆,在 Uphaar 火灾 13 周年之际,受害者家属悲痛万分。这场悲剧发生在 1997 年 59 月 100 日,造成 XNUMX 人死亡,XNUMX 多人在随后的踩踏事件中因窒息而受伤。”,
“图片”: [
"https://media.licdn.com/dms/image/D5622AQFCxIdr0s44Cw/feedshare-shrink_2048_1536/0/1718276698660?e=2147483647&v=beta&t=h3pS2CDEkkkq8JtiZSHqpuY81gog0Etm6mvbpGlUTbA",
"https://media.licdn.com/dms/image/D5622AQH6kFfQgpWJ3g/feedshare-shrink_2048_1536/0/1718276698022?e=2147483647&v=beta&t=pdtaCOfLsGRMq78IyXHwUfwypKICdPU8yJTy5HDaPvo",
"https://media.licdn.com/dms/image/D5622AQFn45KxLLAo4w/feedshare-shrink_2048_1536/0/1718276698276?e=2147483647&v=beta&t=f3Ac2rjWwHFuTlsgBbnzp18eDzVAADWvmnKUWKlcR8M"
],
“视频”: [],
“约会时间”: “7小时”,
“postUrl”: “https://www.linkedin.com/posts/hindustantimes_inpics-uphaarcinema-newdelhi-activity-7207026470001516544-U4I0”,
“用户名”: 《印度斯坦时报》,
“反应计数”: 208,
“评论数”: 3,
“链接”: [
{
“文本”: “#图片”,
“网址”: "https://www.linkedin.com/signup/cold-join?session_redirect=https%3A%2F%2Fwww.linkedin.com%2Ffeed%2Fhashtag%2Finpics&trk=public_post_main-feed-card-text"
},
{
“文本”: “#UphaarCinema”,
“网址”: "https://www.linkedin.com/signup/cold-join?session_redirect=https%3A%2F%2Fwww.linkedin.com%2Ffeed%2Fhashtag%2Fuphaarcinema&trk=public_post_main-feed-card-text"
},
{
“文本”: “#新德里”,
“网址”: "https://www.linkedin.com/signup/cold-join?session_redirect=https%3A%2F%2Fwww.linkedin.com%2Ffeed%2Fhashtag%2Fnewdelhi&trk=public_post_main-feed-card-text"
}
],
“评论”: []
}
]
}

通过遵循这些步骤,您可以使用 Crawlbase 的爬取 API 有效地抓取 LinkedIn 信息。

使用 Crawlbase 增强你的职业目标

抓取 LinkedIn 数据可以为各种应用提供宝贵见解,从就业市场分析到竞争研究。Crawlbase 可自动收集 LinkedIn 数据,让您专注于分析和利用信息。使用 Crawlbase 强大的抓取 API 和 Python,您可以高效地抓取 LinkedIn 个人资料、公司页面和信息。

如果您想扩展您的网络抓取功能,请考虑探索我们以下有关抓取其他重要网站的指南。

📜 如何抓取 Indeed 招聘信息
📜 如何从 LinkedIn 抓取电子邮件
📜 如何抓取 Airbnb
📜 如何抓取 Realtor.com
📜 如何抓取 Expedia

如果您有任何问题或反馈,我们的 支持团队 随时为您的网络抓取之旅提供帮助。快乐刮擦!

常见问题解答(FAQ)

只要不违反 LinkedIn 的服务条款,抓取 LinkedIn 数据是合法的。务必查看 LinkedIn 的政策,确保您的抓取活动符合法律和道德准则。始终尊重隐私和数据保护法,并考虑使用官方提供的 API(如果可用)。

问:如何抓取 LinkedIn 数据?

要抓取 LinkedIn,您可以使用 Crawlbase 的抓取 API。首先,设置您的 Python 环境并安装 Crawlbase 库。选择适合您需求(个人资料、公司或信息流)的抓取工具,然后发出异步请求以收集数据。使用 Crawlbase Storage API 检索数据,该 API 会存储响应以便于访问。

问:抓取 LinkedIn 数据面临哪些挑战?

抓取 LinkedIn 数据涉及多项挑战。LinkedIn 具有强大的反抓取措施,可以阻止您的活动。LinkedIn 内容的动态特性使得难以持续提取数据。此外,您必须确保遵守法律和道德标准,因为违反 LinkedIn 的服务条款可能会导致帐户被禁或受到法律诉讼。使用像 Crawlbase 这样的可靠工具可以通过提供强大的抓取功能并遵守最佳实践来帮助缓解其中一些挑战。