如何挖掘 Booking.com 网站,该网站成立于 1996 年,现已成为旅游和住宿领域的一项重要举措。数百万人使用它来计划旅行,因为它以易于使用而闻名。您可以在该平台上执行很多操作,例如预订酒店、查找度假租赁以及预订航班和汽车。该网站易于浏览,是在世界各地寻找不同住宿地点的旅行者的热门选择。

在这篇博文中,我们将了解如何使用 Crawlbase 爬取 API 和 JavaScript 从 Booking.com 获取数据。我们将涵盖从获取酒店评论和价格到捕获详细位置数据的所有内容。主要想法是顺利应对 Booking.com 的挑战并分享有效抓取的技巧。让我们探索网络抓取的世界,看看 Crawlbase 抓取 API 和 JavaScript 如何帮助我们从 Booking.com 抓取有用的数据。

目录

了解 Booking.com 结构

  • Booking.com 页面的 HTML 结构
  • 识别目标数据元素

抓取 Booking.com 的先决条件

  • JavaScript 基础
  • Crawlbase API 令牌
  • 设置环境

获取 Booking.com 搜索结果页面

抓取 Booking.com 的房产数据

数据处理和存储

  • 从数据中提取信息
  • 清理和转换数据
  • 以不同格式保存数据

确保稳健的刮擦

  • 错误处理和日志记录
  • 尊重机器人.txt
  • 避免 IP 封锁和验证码

总结

常见问题解答

了解 Booking.com 结构

Booking.com html 结构

Booking.com 页面的 HTML 结构

在本节中,我们将了解 Booking.com 如何使用 HTML 排列其内容。了解文档对象模型 (DOM) 对于有效地抓取信息非常重要。

  • Booking.com DOM 概述
    • 从上到下检查结构。
    • 查找塑造页面的主要 HTML 标签和功能。
  • 类和 ID 命名约定
    • 研究类和 ID 名称的重要性。
    • 使用这些元素标识符获取信息。
  • 嵌套元素和关系
    • 查看元素如何相互放置。
    • 移动父元素和子元素以进行彻底的数据提取。

识别目标数据元素

这部分是关于找出您想要从 Booking.com 页面提取的具体数据。

  • 定义抓取目标
    • 概述您需要什么信息。
    • 制定有效抓取的明确目标。
  • 使用浏览器开发工具检查元素
    • 使用浏览器工具仔细查看元素。
    • 准确查找并确认您想要的数据。
  • 用于定位的 XPath 和 CSS 选择器
    • 引入 XPath 和 CSS 选择器。
    • 学习如何制作有效的选择器来准确获得您所需要的内容。

抓取 Booking.com 的先决条件

JavaScript 基础

在我们开始在 Booking.com 上进行网页抓取之前,了解有关 JavaScript(我们将使用的编程语言)的一些基础知识非常重要。熟悉 DOM 操作等概念,这有助于我们与网页的不同部分进行交互、发出 HTTP 请求以获取数据以及处理异步操作以实现更顺畅的编码。了解这些基础知识对于我们开展项目非常有帮助。

Crawlbase API 令牌

现在,我们来谈谈如何从 Crawlbase 获取我们需要的令牌,以使我们的 Booking.com 抓取工作正常进行。

首先,登录到 爬网帐户 他们的在线网站。

登录后,找到名为“账户文件“在您的 Crawlbase 仪表板内。

爬网仪表板

在该页面上查找名为“JavaScript 令牌”的代码。复制此代码 – 它就像一把密钥,确保我们的代码可以与 Booking.com 正确通信。

现在您已经有了这个令牌,您就可以完成 Booking.com 抓取项目其他部分的设置,使其顺利运行。

设置环境

现在我们已经准备好了一切,让我们设置 JavaScript 代码所需的工具。按顺序执行以下步骤:

  1. 创建项目文件夹:

打开您的终端并输入 mkdir booking_scraper 为您的项目创建一个新文件夹。您可以随意命名该文件夹。

mkdir booking_scraper

  1. 导航到项目文件夹:

Type cd booking_scraper 进入新文件夹。这可以帮助您更好地管理项目文件。

cd booking_scraper

  1. 创建 JavaScript 文件:

Type touch scraper.js 创建一个名为 scraper.js 的新文件。如果您愿意,可以以不同的方式命名该文件。

touch scraper.js

  1. 安装 Crawlbase 包:

Type npm install crawlbase 安装名为 Crawlbase 的软件包。这个包对于我们的项目很重要,因为它可以帮助我们与 Crawlbase Crawling API 进行交互,从而更轻松地从网站获取信息。

npm install crawlbase

通过执行这些步骤,您将为 Booking.com 抓取项目设置基本结构。您将拥有一个专用文件夹、一个用于编写代码的 JavaScript 文件以及必要的 Crawlbase 工具,以使抓取过程顺利且有组织。

正在获取 Booking.com 搜索结果页面

获得 API 凭据并安装用于网页抓取的 Node.js 库后,就可以处理“scraper.js”文件了。现在,让我们选择您想要抓取的 Booking.com 搜索结果页面。对于这个例子,我们关注的是 Booking.com: 加利福尼亚州旧金山 – 搜索结果.

Booking.com搜索结果页面

为了使 Crawlbase Crawling API 正常工作,您需要设置特定的参数和端点。首先,确保您已经按照前面的说明创建了“scraper.js”文件。然后,将以下脚本复制并粘贴到该文件中。最后,使用命令“node scraper.js”在终端中运行脚本。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
常量 { 抓取API } = 要求('crawlbase');

常量 抓取基础令牌 = 'YOUR_CRAWLBASE_JS_TOKEN';
常量 接口= 抓取API({ 象征:crawlbaseToken });

常量 预订页面URL =
'https://www.booking.com/searchresults.html?ss=San+Francisco%2C+California%2C+United+States&checkin=2023-12-25&checkout=2023-12-31&group_adults=2&no_rooms=1&group_children=0&selected_currency=USD';

蜜蜂。得到(预订页面 URL)。然后(处理CrawlResponse)。捕捉(处理抓取错误);

功能 处理抓取响应(响应){
if (回复。状态码 === 200){
领事.日志(回复。身体);
}
}

功能 处理抓取错误(错误){
领事.错误(错误);
}

HTML 响应:

来自 Booking.com 的 HTML 响应

抓取 Booking.com 的酒店数据

在此示例中,我们将指导您如何从 Booking.com 搜索结果页面中抓取酒店信息。这包括属性缩略图、名称、位置、评级、评论和价格等详细信息。为了实现这一目标,我们将使用两个 JavaScript 库:cheerio(通常用于网页抓取)和 fs(通常用于文件系统操作)。

提供的 JavaScript 代码利用 Cheerio 库从 Booking.com 搜索结果页面抓取酒店详细信息。它读取您在上一步中从“scraper.js”中提取的 HTML 内容,然后使用 Cheerio 对其进行处理,并收集诸如属性名称、价格、评级、评论和图像 URL 等信息。该脚本会遍历每个属性列表并将数据保存在 JSON 数组中。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
常量 FS = 要求('fs');
常量 欢呼= 要求('cheerio');

常量 html内容 = fs.读取文件同步('响应-booking.html', 'utf8');
常量 $ = 快乐。加载(html内容);

常量 所有位置数据 = [];

常量 卡选择器 = '[data-testid="财产卡"]';

$(卡选择器).((索引卡) => {
常量 当前卡 = $(卡);

常量 提取文本 =(选择器) => 当前卡。发现(选择器)。文本()。修剪();

常量 位置数据 = {
缩略图:当前卡。发现('[数据测试ID =“图像”]').属性('源代码'),
姓名: 提取文本('[数据测试id =“标题”]'),
地址: 提取文本('[data-testid =“地址”]'),
房型: 提取文本('ul.ba51609c35 li.a6a38de85e div.abf093bdfe'),
等级: 提取文本('[data-testid="review-score"] div.a3b8729ab1.d86cee9b25'),
检讨: 提取文本('[data-testid="review-score"] div.abf093bdfe.f45d8e4c32'),
车资: 提取文本('span[data-testid="价格和折扣价格"]'),
附加费用: 提取文本('div[data-testid="税收和费用"]'),
可用性链接:当前卡。发现('[data-testid="可用性-cta-btn"]').属性('href'),
};

所有位置数据。(位置数据);
});

常量 json数据 = JSON.串化(所有位置数据, , 2);

领事.日志(json数据);

fs。写文件同步('所有位置数据.json', json数据, 'utf8');

JSON 响应:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
[
{
“缩略图”: "https://cf.bstatic.com/xdata/images/hotel/square200/51805897.webp?k=6458c338a8618a66e1203b9368509f0a03c59cd8a013e1080c16624f7a7ac86a&o=",
“名称”: 「旧金山和风酒店」,
“地址”: “旧金山渔人码头”,
“房型”: 「1 张特大床」,
“评分”: “8.3”,
“审查”: “4,398 条评论”,
“价钱”: “592 美元”,
“附加费用”: “+307 美元税费”,
“可用性链接”: "https://www.booking.com/hotel/us/zephyr-san-francisco.html?label=gen173nr-1FCAEoggI46AdIM1gEaLUBiAEBmAExuAEZyAEM2AEB6AEB-AECiAIBqAIDuAKqp5CsBsACAdICJDc3OGZkNGYwLWZkNDMtNDJkZi1iMGY1LWM3Yjk1Y2ViNTMwONgCBeACAQ&aid=304142&ucfs=1&arphpl=1&checkin=2023-12-25&checkout=2023-12-31&dest_id=20015732&dest_type=city&group_adults=2&req_adults=2&no_rooms=1&group_children=0&req_children=0&hpos=1&hapos=1&sr_order=popularity&srpvid=2f554e54eaf700d5&srepoch=1703502505&all_sr_blocks=130731601_0_2_0_0&highlighted_blocks=130731601_0_2_0_0&matching_block_id=130731601_0_2_0_0&sr_pri_blocks=130731601_0_2_0_0__59232&from_sustainable_property_sr=1&from=searchresults#hotelTmpl"
},
{
“缩略图”: "https://cf.bstatic.com/xdata/images/hotel/square200/282380081.webp?k=2bcd1d5da151062d9f9adb95b3c9225141a4a7b62c3fd618c983d16df9c96447&o=",
“名称”: “旧金山内河码头俱乐部住宅酒店”,
“地址”: “旧金山金融区”,
“房型”: 「1 张大床」,
“评分”: “8.0”,
“审查”: “4,792 条评论”,
“价钱”: “554 美元”,
“附加费用”: “+91 美元税费”,
“可用性链接”: "https://www.booking.com/hotel/us/club-quarters-san-francisco.html?label=gen173nr-1FCAEoggI46AdIM1gEaLUBiAEBmAExuAEZyAEM2AEB6AEB-AECiAIBqAIDuAKqp5CsBsACAdICJDc3OGZkNGYwLWZkNDMtNDJkZi1iMGY1LWM3Yjk1Y2ViNTMwONgCBeACAQ&aid=304142&ucfs=1&arphpl=1&checkin=2023-12-25&checkout=2023-12-31&dest_id=20015732&dest_type=city&group_adults=2&req_adults=2&no_rooms=1&group_children=0&req_children=0&hpos=2&hapos=2&sr_order=popularity&srpvid=2f554e54eaf700d5&srepoch=1703502505&all_sr_blocks=5606603_351865563_2_0_0&highlighted_blocks=5606603_351865563_2_0_0&matching_block_id=5606603_351865563_2_0_0&sr_pri_blocks=5606603_351865563_2_0_0__55404&from=searchresults#hotelTmpl"
},
{
“缩略图”: "https://cf.bstatic.com/xdata/images/hotel/square200/400787750.webp?k=5bc44d6c9c6ba1ac836c699a6f255823a6fc6788b7f0e7071dd7e5a935cef716&o=",
“名称”: 「旧金山市中心索马凯悦酒店」,
“地址”: “旧金山联合广场”,
“房型”: 「1 张特大床」,
“评分”: “8.6”,
“审查”: “3,705 条评论”,
“价钱”: “798 美元”,
“附加费用”: “+371 美元税费”,
“可用性链接”: "https://www.booking.com/hotel/us/hyatt-regency-san-francisco-downtown-soma.html?label=gen173nr-1FCAEoggI46AdIM1gEaLUBiAEBmAExuAEZyAEM2AEB6AEB-AECiAIBqAIDuAKqp5CsBsACAdICJDc3OGZkNGYwLWZkNDMtNDJkZi1iMGY1LWM3Yjk1Y2ViNTMwONgCBeACAQ&aid=304142&ucfs=1&arphpl=1&checkin=2023-12-25&checkout=2023-12-31&dest_id=20015732&dest_type=city&group_adults=2&req_adults=2&no_rooms=1&group_children=0&req_children=0&hpos=3&hapos=3&sr_order=popularity&srpvid=2f554e54eaf700d5&srepoch=1703502505&all_sr_blocks=5847654_330503950_2_2_0&highlighted_blocks=5847654_330503950_2_2_0&matching_block_id=5847654_330503950_2_2_0&sr_pri_blocks=5847654_330503950_2_2_0__79806&from_sustainable_property_sr=1&from=searchresults#hotelTmpl"
},
{
“缩略图”: "https://cf.bstatic.com/xdata/images/hotel/square200/328622199.webp?k=9cbeb95f2d71606582330c9824b55d7cd4f4b4f715e4159770c3fa4555ec05d5&o=",
“名称”: “旧金山联合广场公民”,
“地址”: “旧金山联合广场”,
“房型”: 「1 张特大床」,
“评分”: “9.0”,
“审查”: “2,785 条评论”,
“价钱”: “683 美元”,
“附加费用”: “+112 美元税费”,
“可用性链接”: "https://www.booking.com/hotel/us/citizenm-san-francisco-union-square.html?label=gen173nr-1FCAEoggI46AdIM1gEaLUBiAEBmAExuAEZyAEM2AEB6AEB-AECiAIBqAIDuAKqp5CsBsACAdICJDc3OGZkNGYwLWZkNDMtNDJkZi1iMGY1LWM3Yjk1Y2ViNTMwONgCBeACAQ&aid=304142&ucfs=1&arphpl=1&checkin=2023-12-25&checkout=2023-12-31&dest_id=20015732&dest_type=city&group_adults=2&req_adults=2&no_rooms=1&group_children=0&req_children=0&hpos=4&hapos=4&sr_order=popularity&srpvid=2f554e54eaf700d5&srepoch=1703502505&all_sr_blocks=746893101_330715007_0_2_0&highlighted_blocks=746893101_330715007_0_2_0&matching_block_id=746893101_330715007_0_2_0&sr_pri_blocks=746893101_330715007_0_2_0__68320&from_sustainable_property_sr=1&from=searchresults#hotelTmpl"
},
{
“缩略图”: "https://cf.bstatic.com/xdata/images/hotel/square200/474351488.webp?k=c4917bd9c11ccbd4472ee19f0a55faab64cfae5feb951fd2118685bb340dd066&o=",
“名称”: 「旧金山金融区希尔顿酒店」,
“地址”: “旧金山金融区”,
“房型”: 「1 张单人床」,
“评分”: “7.5”,
“审查”: “2,544 条评论”,
“价钱”: “824 美元”,
“附加费用”: “+136 美元税费”,
“可用性链接”: "https://www.booking.com/hotel/us/hilton-san-francisco-financial-district.html?label=gen173nr-1FCAEoggI46AdIM1gEaLUBiAEBmAExuAEZyAEM2AEB6AEB-AECiAIBqAIDuAKqp5CsBsACAdICJDc3OGZkNGYwLWZkNDMtNDJkZi1iMGY1LWM3Yjk1Y2ViNTMwONgCBeACAQ&aid=304142&ucfs=1&arphpl=1&checkin=2023-12-25&checkout=2023-12-31&dest_id=20015732&dest_type=city&group_adults=2&req_adults=2&no_rooms=1&group_children=0&req_children=0&hpos=5&hapos=5&sr_order=popularity&srpvid=2f554e54eaf700d5&srepoch=1703502505&all_sr_blocks=5928433_119150907_2_2_0&highlighted_blocks=5928433_119150907_2_2_0&matching_block_id=5928433_119150907_2_2_0&sr_pri_blocks=5928433_119150907_2_2_0__82400&from_sustainable_property_sr=1&from=searchresults#hotelTmpl"
},
{
“缩略图”: "https://cf.bstatic.com/xdata/images/hotel/square200/502202353.webp?k=cb01422930da1db428ad758f8d23abfe9c7b3acb0e922ab238bf60d173fd2720&o=",
“名称”: “旧金山联合广场威斯汀圣弗朗西斯酒店”,
“地址”: “旧金山联合广场”,
“房型”: 「1 张大床」,
“评分”: “8.4”,
“审查”: “1,494 条评论”,
“价钱”: “834 美元”,
“附加费用”: “+312 美元税费”,
“可用性链接”: "https://www.booking.com/hotel/us/the-westin-st-francis.html?label=gen173nr-1FCAEoggI46AdIM1gEaLUBiAEBmAExuAEZyAEM2AEB6AEB-AECiAIBqAIDuAKqp5CsBsACAdICJDc3OGZkNGYwLWZkNDMtNDJkZi1iMGY1LWM3Yjk1Y2ViNTMwONgCBeACAQ&aid=304142&ucfs=1&arphpl=1&checkin=2023-12-25&checkout=2023-12-31&dest_id=20015732&dest_type=city&group_adults=2&req_adults=2&no_rooms=1&group_children=0&req_children=0&hpos=6&hapos=6&sr_order=popularity&srpvid=2f554e54eaf700d5&srepoch=1703502505&all_sr_blocks=5870739_381980475_0_10_0&highlighted_blocks=5870739_381980475_0_10_0&matching_block_id=5870739_381980475_0_10_0&sr_pri_blocks=5870739_381980475_0_10_0__83400&from_sustainable_property_sr=1&from=searchresults#hotelTmpl"
},
{
“缩略图”: "https://cf.bstatic.com/xdata/images/hotel/square200/254588957.webp?k=214ed5a5376a419a4cf88b3e1c4a945a8bffafb07ed754afec4457d953c0cc58&o=",
“名称”: 「旧金山联合广场君悦酒店」,
“地址”: “旧金山联合广场”,
“房型”: 「1 张特大床」,
“评分”: “8.4”,
“审查”: “1,795 条评论”,
“价钱”: “864 美元”,
“附加费用”: “+386 美元税费”,
“可用性链接”: "https://www.booking.com/hotel/us/grand-hyatt-san-francisco.html?label=gen173nr-1FCAEoggI46AdIM1gEaLUBiAEBmAExuAEZyAEM2AEB6AEB-AECiAIBqAIDuAKqp5CsBsACAdICJDc3OGZkNGYwLWZkNDMtNDJkZi1iMGY1LWM3Yjk1Y2ViNTMwONgCBeACAQ&aid=304142&ucfs=1&arphpl=1&checkin=2023-12-25&checkout=2023-12-31&dest_id=20015732&dest_type=city&group_adults=2&req_adults=2&no_rooms=1&group_children=0&req_children=0&hpos=7&hapos=7&sr_order=popularity&srpvid=2f554e54eaf700d5&srepoch=1703502505&all_sr_blocks=17306414_244542676_2_2_0&highlighted_blocks=17306414_244542676_2_2_0&matching_block_id=17306414_244542676_2_2_0&sr_pri_blocks=17306414_244542676_2_2_0__86400&from_sustainable_property_sr=1&from=searchresults#hotelTmpl"
},
{
“缩略图”: "https://cf.bstatic.com/xdata/images/hotel/square200/346814573.webp?k=1e21941a79a9499a4905c95e4c02e0472973a240a56ecf62c2ae86ff68b4f9ed&o=",
“名称”: 「旧金山优特尔酒店」,
“地址”: “旧金山市中心,旧金山”,
“房型”: “1张双人床”,
“评分”: “7.6”,
“审查”: “1,134 条评论”,
“价钱”: “524 美元”,
“附加费用”: “+331 美元税费”,
“可用性链接”: "https://www.booking.com/hotel/us/yotel-san-francisco.html?label=gen173nr-1FCAEoggI46AdIM1gEaLUBiAEBmAExuAEZyAEM2AEB6AEB-AECiAIBqAIDuAKqp5CsBsACAdICJDc3OGZkNGYwLWZkNDMtNDJkZi1iMGY1LWM3Yjk1Y2ViNTMwONgCBeACAQ&aid=304142&ucfs=1&arphpl=1&checkin=2023-12-25&checkout=2023-12-31&dest_id=20015732&dest_type=city&group_adults=2&req_adults=2&no_rooms=1&group_children=0&req_children=0&hpos=8&hapos=8&sr_order=popularity&srpvid=2f554e54eaf700d5&srepoch=1703502505&all_sr_blocks=257494512_348184181_0_1_0&highlighted_blocks=257494512_348184181_0_1_0&matching_block_id=257494512_348184181_0_1_0&sr_pri_blocks=257494512_348184181_0_1_0__52360&from_sustainable_property_sr=1&from=searchresults#hotelTmpl"
},
{
“缩略图”: "https://cf.bstatic.com/xdata/images/hotel/square200/228751512.webp?k=862c4a938912e472ab2af3028531968acd6364f23efd2e4ad9cf26496bcb45bb&o=",
“名称”: 「渔人码头悦宜湾广场」,
“地址”: “旧金山渔人码头”,
“房型”: 「1 张特大床」,
“评分”: “8.2”,
“审查”: “10,997 条评论”,
“价钱”: “780 美元”,
“附加费用”: “+331 美元税费”,
“可用性链接”: "https://www.booking.com/hotel/us/riu-plaza-fishermans-wharf.html?label=gen173nr-1FCAEoggI46AdIM1gEaLUBiAEBmAExuAEZyAEM2AEB6AEB-AECiAIBqAIDuAKqp5CsBsACAdICJDc3OGZkNGYwLWZkNDMtNDJkZi1iMGY1LWM3Yjk1Y2ViNTMwONgCBeACAQ&aid=304142&ucfs=1&arphpl=1&checkin=2023-12-25&checkout=2023-12-31&dest_id=20015732&dest_type=city&group_adults=2&req_adults=2&no_rooms=1&group_children=0&req_children=0&hpos=9&hapos=9&sr_order=popularity&srpvid=2f554e54eaf700d5&srepoch=1703502505&all_sr_blocks=5889124_268779679_2_1_0&highlighted_blocks=5889124_268779679_2_1_0&matching_block_id=5889124_268779679_2_1_0&sr_pri_blocks=5889124_268779679_2_1_0__77990&from_sustainable_property_sr=1&from=searchresults#hotelTmpl"
},
{
“缩略图”: "https://cf.bstatic.com/xdata/images/hotel/square200/44519478.webp?k=a2d598606e789ca9929eaa5c2cbf4158767e4edd47faa64288255f49650fceea&o=",
“名称”: “乔治国王”,
“地址”: “旧金山联合广场”,
“房型”: 「1 张大床」,
“评分”: “7.6”,
“审查”: “1,018 条评论”,
“价钱”: “501 美元”,
“附加费用”: “+82 美元税费”,
“可用性链接”: "https://www.booking.com/hotel/us/king-george.html?label=gen173nr-1FCAEoggI46AdIM1gEaLUBiAEBmAExuAEZyAEM2AEB6AEB-AECiAIBqAIDuAKqp5CsBsACAdICJDc3OGZkNGYwLWZkNDMtNDJkZi1iMGY1LWM3Yjk1Y2ViNTMwONgCBeACAQ&aid=304142&ucfs=1&arphpl=1&checkin=2023-12-25&checkout=2023-12-31&dest_id=20015732&dest_type=city&group_adults=2&req_adults=2&no_rooms=1&group_children=0&req_children=0&hpos=10&hapos=10&sr_order=popularity&srpvid=2f554e54eaf700d5&srepoch=1703502505&all_sr_blocks=5625710_0_2_0_0&highlighted_blocks=5625710_0_2_0_0&matching_block_id=5625710_0_2_0_0&sr_pri_blocks=5625710_0_2_0_0__50122&from=searchresults#hotelTmpl"
},
{
“缩略图”: "https://cf.bstatic.com/xdata/images/hotel/square200/38029026.webp?k=ed69b8656226a213a05d5fd86d0fe436a2683b71927fa525a42e03b215786e47&o=",
“名称”: 「圣雷莫酒店」,
“地址”: “旧金山北海滩”,
“房型”: “1张双人床”,
“评分”: “7.8”,
“审查”: “1,466 条评论”,
“价钱”: “501 美元”,
“附加费用”: “+82 美元税费”,
“可用性链接”: "https://www.booking.com/hotel/us/san-remo.html?label=gen173nr-1FCAEoggI46AdIM1gEaLUBiAEBmAExuAEZyAEM2AEB6AEB-AECiAIBqAIDuAKqp5CsBsACAdICJDc3OGZkNGYwLWZkNDMtNDJkZi1iMGY1LWM3Yjk1Y2ViNTMwONgCBeACAQ&aid=304142&ucfs=1&arphpl=1&checkin=2023-12-25&checkout=2023-12-31&dest_id=20015732&dest_type=city&group_adults=2&req_adults=2&no_rooms=1&group_children=0&req_children=0&hpos=11&hapos=11&sr_order=popularity&srpvid=2f554e54eaf700d5&srepoch=1703502505&all_sr_blocks=5642402_130821570_0_0_0&highlighted_blocks=5642402_130821570_0_0_0&matching_block_id=5642402_130821570_0_0_0&sr_pri_blocks=5642402_130821570_0_0_0__50066&from_sustainable_property_sr=1&from=searchresults#hotelTmpl"
},
{
“缩略图”: "https://cf.bstatic.com/xdata/images/hotel/square200/414643408.webp?k=38651a8075d3902970eb7996a450dba00bbdd1c593fb8297c031d687a8577d10&o=",
“名称”: “恩索金普顿酒店,洲际酒店集团旗下酒店”,
“地址”: 「旧金山日本城」,
“房型”: 「1 张特大床」,
“评分”: “8.5”,
“审查”: “146 条评论”,
“价钱”: “1,165 美元”,
“附加费用”: “+181 美元税费”,
“可用性链接”: "https://www.booking.com/hotel/us/kimpton-hotel-enso.html?label=gen173nr-1FCAEoggI46AdIM1gEaLUBiAEBmAExuAEZyAEM2AEB6AEB-AECiAIBqAIDuAKqp5CsBsACAdICJDc3OGZkNGYwLWZkNDMtNDJkZi1iMGY1LWM3Yjk1Y2ViNTMwONgCBeACAQ&aid=304142&ucfs=1&arphpl=1&checkin=2023-12-25&checkout=2023-12-31&dest_id=20015732&dest_type=city&group_adults=2&req_adults=2&no_rooms=1&group_children=0&req_children=0&hpos=12&hapos=12&sr_order=popularity&srpvid=2f554e54eaf700d5&srepoch=1703502505&all_sr_blocks=5698601_256474456_2_2_0&highlighted_blocks=5698601_256474456_2_2_0&matching_block_id=5698601_256474456_2_2_0&sr_pri_blocks=5698601_256474456_2_2_0__116460&from_sustainable_property_sr=1&from=searchresults#hotelTmpl"
},
{
“缩略图”: "https://cf.bstatic.com/xdata/images/hotel/square200/198255014.webp?k=8583d33cbc9f8e2a5807764a155d89d30e4fa9c7a63245f74b1f464a715099b1&o=",
“名称”: “歌舞伎酒店,JdV by Hyatt 的一部分”,
“地址”: 「旧金山日本城」,
“房型”: 「1 张特大床」,
“评分”: “8.4”,
“审查”: “511 条评论”,
“价钱”: “1,552 美元”,
“附加费用”: “+496 美元税费”,
“可用性链接”: "https://www.booking.com/hotel/us/miyako.html?label=gen173nr-1FCAEoggI46AdIM1gEaLUBiAEBmAExuAEZyAEM2AEB6AEB-AECiAIBqAIDuAKqp5CsBsACAdICJDc3OGZkNGYwLWZkNDMtNDJkZi1iMGY1LWM3Yjk1Y2ViNTMwONgCBeACAQ&aid=304142&ucfs=1&arphpl=1&checkin=2023-12-25&checkout=2023-12-31&dest_id=20015732&dest_type=city&group_adults=2&req_adults=2&no_rooms=1&group_children=0&req_children=0&hpos=13&hapos=13&sr_order=popularity&srpvid=2f554e54eaf700d5&srepoch=1703502505&all_sr_blocks=5617933_244917646_2_1_0&highlighted_blocks=5617933_244917646_2_1_0&matching_block_id=5617933_244917646_2_1_0&sr_pri_blocks=5617933_244917646_2_1_0__155163&from_sustainable_property_sr=1&from=searchresults#hotelTmpl"
},
{
“缩略图”: "https://cf.bstatic.com/xdata/images/hotel/square200/130456067.webp?k=dca94ebfd08e34510c1a313b73c15f5425ef60d0ebaf8437351226ee6dd84ab4&o=",
“名称”: 「斯佩罗酒店」,
“地址”: “旧金山联合广场”,
“房型”: 「1 张大床」,
“评分”: “8.5”,
“审查”: “156 条评论”,
“价钱”: “672 美元”,
“附加费用”: “+347 美元税费”,
“可用性链接”: "https://www.booking.com/hotel/us/serrano.html?label=gen173nr-1FCAEoggI46AdIM1gEaLUBiAEBmAExuAEZyAEM2AEB6AEB-AECiAIBqAIDuAKqp5CsBsACAdICJDc3OGZkNGYwLWZkNDMtNDJkZi1iMGY1LWM3Yjk1Y2ViNTMwONgCBeACAQ&aid=304142&ucfs=1&arphpl=1&checkin=2023-12-25&checkout=2023-12-31&dest_id=20015732&dest_type=city&group_adults=2&req_adults=2&no_rooms=1&group_children=0&req_children=0&hpos=14&hapos=14&sr_order=popularity&srpvid=2f554e54eaf700d5&srepoch=1703502505&all_sr_blocks=4744318_380205727_2_0_0&highlighted_blocks=4744318_380205727_2_0_0&matching_block_id=4744318_380205727_2_0_0&sr_pri_blocks=4744318_380205727_2_0_0__67248&from=searchresults#hotelTmpl"
},
{
“缩略图”: "https://cf.bstatic.com/xdata/images/hotel/square200/170431725.webp?k=fc66325b805128c031587ce51ca589719ff817880666d9d63c7bc1fc0657daac&o=",
“名称”: 「旧金山湾区康福特茵酒店」,
“地址”: “旧金山滨海区”,
“房型”: 「1 张大床」,
“评分”: “7.6”,
“审查”: “2,539 条评论”,
“价钱”: “707 美元”,
“附加费用”: “+116 美元税费”,
“可用性链接”: "https://www.booking.com/hotel/us/comfort-inn-by-the-bay-san-francisco.html?label=gen173nr-1FCAEoggI46AdIM1gEaLUBiAEBmAExuAEZyAEM2AEB6AEB-AECiAIBqAIDuAKqp5CsBsACAdICJDc3OGZkNGYwLWZkNDMtNDJkZi1iMGY1LWM3Yjk1Y2ViNTMwONgCBeACAQ&aid=304142&ucfs=1&arphpl=1&checkin=2023-12-25&checkout=2023-12-31&dest_id=20015732&dest_type=city&group_adults=2&req_adults=2&no_rooms=1&group_children=0&req_children=0&hpos=15&hapos=15&sr_order=popularity&srpvid=2f554e54eaf700d5&srepoch=1703502505&all_sr_blocks=29182407_332272638_2_1_0&highlighted_blocks=29182407_332272638_2_1_0&matching_block_id=29182407_332272638_2_1_0&sr_pri_blocks=29182407_332272638_2_1_0__70720&from_sustainable_property_sr=1&from=searchresults#hotelTmpl"
},
{
“缩略图”: "https://cf.bstatic.com/xdata/images/hotel/square200/459610547.webp?k=bc66148b43561cce076838b8d8cd14d247da1870aa60c970c16c104a25d73477&o=",
“名称”: 「旧金山联合广场万豪酒店」,
“地址”: “旧金山联合广场”,
“房型”: 「1 张特大床」,
“评分”: “8.3”,
“审查”: “711 条评论”,
“价钱”: “954 美元”,
“附加费用”: “+312 美元税费”,
“可用性链接”: "https://www.booking.com/hotel/us/san-francisco-marriott-union-square.html?label=gen173nr-1FCAEoggI46AdIM1gEaLUBiAEBmAExuAEZyAEM2AEB6AEB-AECiAIBqAIDuAKqp5CsBsACAdICJDc3OGZkNGYwLWZkNDMtNDJkZi1iMGY1LWM3Yjk1Y2ViNTMwONgCBeACAQ&aid=304142&ucfs=1&arphpl=1&checkin=2023-12-25&checkout=2023-12-31&dest_id=20015732&dest_type=city&group_adults=2&req_adults=2&no_rooms=1&group_children=0&req_children=0&hpos=16&hapos=16&sr_order=popularity&srpvid=2f554e54eaf700d5&srepoch=1703502505&all_sr_blocks=26301301_246425415_0_2_0&highlighted_blocks=26301301_246425415_0_2_0&matching_block_id=26301301_246425415_0_2_0&sr_pri_blocks=26301301_246425415_0_2_0__95400&from_sustainable_property_sr=1&from=searchresults#hotelTmpl"
},
{
“缩略图”: "https://cf.bstatic.com/xdata/images/hotel/square200/514846206.webp?k=87e3746b8a8eb6789602b505f3a331b21048b6b7f01d2f07ee8bfd185bec2554&o=",
“名称”: “旧金山米提拉 - 贝斯特韦斯特 SureStay 精选酒店”,
“地址”: “旧金山市中心,旧金山”,
“房型”: “1张双人床”,
“评分”: “7.0”,
“审查”: “309 条评论”,
“价钱”: “431 美元”,
“附加费用”: “+70 美元税费”,
“可用性链接”: "https://www.booking.com/hotel/us/mithila.html?label=gen173nr-1FCAEoggI46AdIM1gEaLUBiAEBmAExuAEZyAEM2AEB6AEB-AECiAIBqAIDuAKqp5CsBsACAdICJDc3OGZkNGYwLWZkNDMtNDJkZi1iMGY1LWM3Yjk1Y2ViNTMwONgCBeACAQ&aid=304142&ucfs=1&arphpl=1&checkin=2023-12-25&checkout=2023-12-31&dest_id=20015732&dest_type=city&group_adults=2&req_adults=2&no_rooms=1&group_children=0&req_children=0&hpos=17&hapos=17&sr_order=popularity&srpvid=2f554e54eaf700d5&srepoch=1703502505&all_sr_blocks=5599010_385047856_2_0_0&highlighted_blocks=5599010_385047856_2_0_0&matching_block_id=5599010_385047856_2_0_0&sr_pri_blocks=5599010_385047856_2_0_0__43130&from_sustainable_property_sr=1&from=searchresults#hotelTmpl"
},
{
“缩略图”: "https://cf.bstatic.com/xdata/images/hotel/square200/20237235.webp?k=c58b885c82fb9e54ac743ac60a35d597dccbe0542b25e7d96b1897ae46d9a7da&o=",
“名称”: 「联合广场菲茨杰拉德酒店」,
“地址”: “旧金山联合广场”,
“房型”: 「1 张大床」,
“评分”: “7.2”,
“审查”: “542 条评论”,
“价钱”: “384 美元”,
“附加费用”: “+62 美元税费”,
“可用性链接”: "https://www.booking.com/hotel/us/fitzgerald-union-square.html?label=gen173nr-1FCAEoggI46AdIM1gEaLUBiAEBmAExuAEZyAEM2AEB6AEB-AECiAIBqAIDuAKqp5CsBsACAdICJDc3OGZkNGYwLWZkNDMtNDJkZi1iMGY1LWM3Yjk1Y2ViNTMwONgCBeACAQ&aid=304142&ucfs=1&arphpl=1&checkin=2023-12-25&checkout=2023-12-31&dest_id=20015732&dest_type=city&group_adults=2&req_adults=2&no_rooms=1&group_children=0&req_children=0&hpos=18&hapos=18&sr_order=popularity&srpvid=2f554e54eaf700d5&srepoch=1703502505&all_sr_blocks=5610203_175804938_0_1_0&highlighted_blocks=5610203_175804938_0_1_0&matching_block_id=5610203_175804938_0_1_0&sr_pri_blocks=5610203_175804938_0_1_0__38365&from=searchresults#hotelTmpl"
},
{
“缩略图”: "https://cf.bstatic.com/xdata/images/hotel/square200/149539216.webp?k=ccf89b13212cd1d5b0b4910ef330ef0d05520b91160ea819a158cef331a9f4e9&o=",
“名称”: 「旧金山渔人码头凯悦中心酒店」,
“地址”: “旧金山渔人码头”,
“房型”: 「1 张特大床」,
“评分”: “8.1”,
“审查”: “1,596 条评论”,
“价钱”: “984 美元”,
“附加费用”: “+406 美元税费”,
“可用性链接”: "https://www.booking.com/hotel/us/hyatt-fisherman-s-wharf.html?label=gen173nr-1FCAEoggI46AdIM1gEaLUBiAEBmAExuAEZyAEM2AEB6AEB-AECiAIBqAIDuAKqp5CsBsACAdICJDc3OGZkNGYwLWZkNDMtNDJkZi1iMGY1LWM3Yjk1Y2ViNTMwONgCBeACAQ&aid=304142&ucfs=1&arphpl=1&checkin=2023-12-25&checkout=2023-12-31&dest_id=20015732&dest_type=city&group_adults=2&req_adults=2&no_rooms=1&group_children=0&req_children=0&hpos=19&hapos=19&sr_order=popularity&srpvid=2f554e54eaf700d5&srepoch=1703502505&all_sr_blocks=37440720_279640003_2_34_0&highlighted_blocks=37440720_279640003_2_34_0&matching_block_id=37440720_279640003_2_34_0&sr_pri_blocks=37440720_279640003_2_34_0__98400&from_sustainable_property_sr=1&from=searchresults#hotelTmpl"
},
{
“缩略图”: "https://cf.bstatic.com/xdata/images/hotel/square200/448696840.webp?k=480c05959bf83975b4cbdcb6944d5cc49473fc1f1913c8dc5c8390500ec629ea&o=",
“名称”: 「旧金山马奎斯联合广场万豪酒店」,
“地址”: “旧金山联合广场”,
“房型”: 「1 张特大床」,
“评分”: “8.3”,
“审查”: “2,241 条评论”,
“价钱”: “978 美元”,
“附加费用”: “+342 美元税费”,
“可用性链接”: "https://www.booking.com/hotel/us/marriott-marquis-san-francisco.html?label=gen173nr-1FCAEoggI46AdIM1gEaLUBiAEBmAExuAEZyAEM2AEB6AEB-AECiAIBqAIDuAKqp5CsBsACAdICJDc3OGZkNGYwLWZkNDMtNDJkZi1iMGY1LWM3Yjk1Y2ViNTMwONgCBeACAQ&aid=304142&ucfs=1&arphpl=1&checkin=2023-12-25&checkout=2023-12-31&dest_id=20015732&dest_type=city&group_adults=2&req_adults=2&no_rooms=1&group_children=0&req_children=0&hpos=20&hapos=20&sr_order=popularity&srpvid=2f554e54eaf700d5&srepoch=1703502505&all_sr_blocks=26287701_246425403_2_42_0&highlighted_blocks=26287701_246425403_2_42_0&matching_block_id=26287701_246425403_2_42_0&sr_pri_blocks=26287701_246425403_2_42_0__97800&from_sustainable_property_sr=1&from=searchresults#hotelTmpl"
},
{
“缩略图”: "https://cf.bstatic.com/xdata/images/hotel/square200/196946858.webp?k=7a5ed59923e10f2cf07d3e0242df7d9bec8e9973c2042f721fb008aae6c3084a&o=",
“名称”: “阿尔戈诺特酒店,贵族之家酒店”,
“地址”: “旧金山渔人码头”,
“房型”: 「1 张大床」,
“评分”: “8.7”,
“审查”: “1,512 条评论”,
“价钱”: “1,115 美元”,
“附加费用”: “+399 美元税费”,
“可用性链接”: "https://www.booking.com/hotel/us/argonaut-sf.html?label=gen173nr-1FCAEoggI46AdIM1gEaLUBiAEBmAExuAEZyAEM2AEB6AEB-AECiAIBqAIDuAKqp5CsBsACAdICJDc3OGZkNGYwLWZkNDMtNDJkZi1iMGY1LWM3Yjk1Y2ViNTMwONgCBeACAQ&aid=304142&ucfs=1&arphpl=1&checkin=2023-12-25&checkout=2023-12-31&dest_id=20015732&dest_type=city&group_adults=2&req_adults=2&no_rooms=1&group_children=0&req_children=0&hpos=21&hapos=21&sr_order=popularity&srpvid=2f554e54eaf700d5&srepoch=1703502505&all_sr_blocks=5893306_91459206_2_0_0&highlighted_blocks=5893306_91459206_2_0_0&matching_block_id=5893306_91459206_2_0_0&sr_pri_blocks=5893306_91459206_2_0_0__111520&from_sustainable_property_sr=1&from=searchresults#hotelTmpl"
},
{
“缩略图”: "https://cf.bstatic.com/xdata/images/hotel/square200/234632942.webp?k=c5995a3ffd440e61e83a0beccc0314255a620dd5da8048bdf6163c30bb6b2b76&o=",
“名称”: “旧金山金门假日酒店,洲际酒店集团旗下酒店,不收取度假费”,
“地址”: “旧金山诺布山”,
“房型”: 「1 张特大床」,
“评分”: “8.1”,
“审查”: “3,933 条评论”,
“价钱”: “766 美元”,
“附加费用”: “+128 美元税费”,
“可用性链接”: "https://www.booking.com/hotel/us/holiday-inn-san-francisco-golden-gateway.html?label=gen173nr-1FCAEoggI46AdIM1gEaLUBiAEBmAExuAEZyAEM2AEB6AEB-AECiAIBqAIDuAKqp5CsBsACAdICJDc3OGZkNGYwLWZkNDMtNDJkZi1iMGY1LWM3Yjk1Y2ViNTMwONgCBeACAQ&aid=304142&ucfs=1&arphpl=1&checkin=2023-12-25&checkout=2023-12-31&dest_id=20015732&dest_type=city&group_adults=2&req_adults=2&no_rooms=1&group_children=0&req_children=0&hpos=22&hapos=22&sr_order=popularity&srpvid=2f554e54eaf700d5&srepoch=1703502505&all_sr_blocks=18230006_246084052_2_0_0&highlighted_blocks=18230006_246084052_2_0_0&matching_block_id=18230006_246084052_2_0_0&sr_pri_blocks=18230006_246084052_2_0_0__76632&from_sustainable_property_sr=1&from=searchresults#hotelTmpl"
},
{
“缩略图”: "https://cf.bstatic.com/xdata/images/hotel/square200/384114312.webp?k=877106673136038e4eddfeeaf1a0c84ac31222f205378fe86707d138cbf168c3&o=",
“名称”: “联合广场灯塔大酒店”,
“地址”: “旧金山联合广场”,
“房型”: 「1 张大床」,
“评分”: “8.7”,
“审查”: “1,666 条评论”,
“价钱”: “752 美元”,
“附加费用”: “+326 美元税费”,
“可用性链接”: "https://www.booking.com/hotel/us/sir-francis-drake.html?label=gen173nr-1FCAEoggI46AdIM1gEaLUBiAEBmAExuAEZyAEM2AEB6AEB-AECiAIBqAIDuAKqp5CsBsACAdICJDc3OGZkNGYwLWZkNDMtNDJkZi1iMGY1LWM3Yjk1Y2ViNTMwONgCBeACAQ&aid=304142&ucfs=1&arphpl=1&checkin=2023-12-25&checkout=2023-12-31&dest_id=20015732&dest_type=city&group_adults=2&req_adults=2&no_rooms=1&group_children=0&req_children=0&hpos=23&hapos=23&sr_order=popularity&srpvid=2f554e54eaf700d5&srepoch=1703502505&all_sr_blocks=0_0_2_0_0&highlighted_blocks=0_0_2_0_0&matching_block_id=0_0_2_0_0&sr_pri_blocks=0_0_2_0_0__75179&from_sustainable_property_sr=1&from=searchresults#hotelTmpl"
},
{
“缩略图”: "https://cf.bstatic.com/xdata/images/hotel/square200/112587297.webp?k=1a788bbf29849f71c6ea1164052c2fae36c7cdb4ce1b54577f7d8608ea8a791e&o=",
“名称”: 「旧金山费尔蒙酒店」,
“地址”: “旧金山诺布山”,
“房型”: 「1 张大床」,
“评分”: “8.0”,
“审查”: “978 条评论”,
“价钱”: “1,352 美元”,
“附加费用”: “+467 美元税费”,
“可用性链接”: "https://www.booking.com/hotel/us/the-fairmont-san-francisco-san-francisco-california.html?label=gen173nr-1FCAEoggI46AdIM1gEaLUBiAEBmAExuAEZyAEM2AEB6AEB-AECiAIBqAIDuAKqp5CsBsACAdICJDc3OGZkNGYwLWZkNDMtNDJkZi1iMGY1LWM3Yjk1Y2ViNTMwONgCBeACAQ&aid=304142&ucfs=1&arphpl=1&checkin=2023-12-25&checkout=2023-12-31&dest_id=20015732&dest_type=city&group_adults=2&req_adults=2&no_rooms=1&group_children=0&req_children=0&hpos=24&hapos=24&sr_order=popularity&srpvid=2f554e54eaf700d5&srepoch=1703502505&all_sr_blocks=5651228_362247620_2_2_0&highlighted_blocks=5651228_362247620_2_2_0&matching_block_id=5651228_362247620_2_2_0&sr_pri_blocks=5651228_362247620_2_2_0__135200&from=searchresults#hotelTmpl"
},
{
“缩略图”: "https://cf.bstatic.com/xdata/images/hotel/square200/484392638.webp?k=1fa2872766abaf70f4b55f8873925c01c01eb0d421e24321994415b9fab64f0c&o=",
“名称”: 「旧金山联合广场希尔顿酒店」,
“地址”: “旧金山联合广场”,
“房型”: 「1 张特大床」,
“评分”: “7.6”,
“审查”: “1,867 条评论”,
“价钱”: “880 美元”,
“附加费用”: “+325 美元税费”,
“可用性链接”: "https://www.booking.com/hotel/us/hilton-san-francisco.html?label=gen173nr-1FCAEoggI46AdIM1gEaLUBiAEBmAExuAEZyAEM2AEB6AEB-AECiAIBqAIDuAKqp5CsBsACAdICJDc3OGZkNGYwLWZkNDMtNDJkZi1iMGY1LWM3Yjk1Y2ViNTMwONgCBeACAQ&aid=304142&ucfs=1&arphpl=1&checkin=2023-12-25&checkout=2023-12-31&dest_id=20015732&dest_type=city&group_adults=2&req_adults=2&no_rooms=1&group_children=0&req_children=0&hpos=25&hapos=25&sr_order=popularity&srpvid=2f554e54eaf700d5&srepoch=1703502505&all_sr_blocks=2985304_274558569_2_2_0&highlighted_blocks=2985304_274558569_2_2_0&matching_block_id=2985304_274558569_2_2_0&sr_pri_blocks=2985304_274558569_2_2_0__88000&from_sustainable_property_sr=1&from=searchresults#hotelTmpl"
}
]

数据处理和存储

数据处理和存储
  • 从数据中提取信息

    获得数据后,下一步就是有效地提取出重要信息。学习正则表达式、DOM 解析库和高级 HTML 解析方法等技术。根据 Booking.com 的具体结构调整您的方法,以确保您的抓取工具可以处理不同的数据类型和结构。这保证了深入分析的准确性和完整性。

  • 清理和转换数据

    原始抓取数据通常存在不一致、缺失值或不必要信息等问题。本节介绍清理和处理数据的方法,包括发现异常值和管理重复条目等高级技术。通过处理这些问题,您可以确保数据不仅干净,而且可以用于各种分析任务,例如统计分析、可视化或机器学习。

  • 以不同格式保存数据

    提取和清理数据后,选择正确的存储格式至关重要。探索 JSON 等选项以实现灵活性,探索 CSV 来实现简单性,探索 MySQL 或 MongoDB 等数据库以实现强大功能。本节超越了基础知识,提供了有关优化数据存储以实现快速检索、高效查询和维护数据完整性的见解。选择正确的存储格式对于爬取数据的长期使用和可访问性至关重要。

确保稳健的刮擦

确保稳健的刮擦
  • 错误处理和日志记录

    网页抓取有其困难,有效处理错误对于保持稳健至关重要 过程。学习识别和预测脚本中的潜在错误,以主动解决问题。结合彻底的错误处理和详细的日志记录,以最大限度地减少数据丢失并深入了解抓取工具的性能以进行持续优化。

  • 尊重机器人.txt

    尊重网站的 robots.txt 文件对于道德抓取和可持续策略非常重要。了解指南,包括 Booking.com 制定的具体指令。配置您的抓取工具以遵循这些规则不仅是出于道德原因,也是为了与网站建立积极的关系,防止 IP 禁令并确保长期访问有价值的数据。

  • 避免 IP 封锁和验证码

    面对 IP 块和验证码在网络抓取中很常见。学习避免检测和妥善处理 IP 块的策略,例如 轮换IP地址 或者使用 代理服务器。了解如何通过自动解决或将人工交互纳入抓取工作流程来有效地导航验证码。应对这些挑战的深思熟虑的方法对于保持谨慎性和确保不间断的抓取活动至关重要。

总结

本指南为您提供使用 JavaScript 和 Crawlbase 抓取 API 从 Booking.com 抓取数据的信息和工具。您可以从 Booking.com 获得不同的信息,例如有关酒店的详细信息,例如名称、位置、评级、人们在评论中的评价、价格以及称为缩略图的小图片。无论您是网络抓取新手还是已经有所了解,这些想法都可以帮助您入门。如果您想尝试在其他在线平台上进行抓取,例如 Airbnb的, Expedia的, Hotels.com,我们有更多指南供您查看。

相关指南:

📜 抓取 Airbnb 房产列表
📜 抓取 Airbnb 价格数据
📜 使用 JavaScript 抓取 Expedia

如果您对抓取项目有任何疑问或需要帮助, Crawlbase支持团队 24/7 可用。请随时联系我们寻求指导、澄清或您在工作中可能需要的任何帮助 网络抓取 项目。

常见问题解答

使用 Booking API 有哪些缺点?

使用 Booking API 有一些缺点。首先,它可能不提供与 Booking.com 网站相同的访问或功能。 API 工作方式的更改可能会使集成变得棘手,并且您可能需要经常更新它。处理身份验证和 API 密钥可能很复杂。用户可能会限制他们可以使用的数据量,并且可能会产生与他们向 API 发出请求的次数相关的费用。

我可以使用哪些工具/库通过 JavaScript 抓取 Booking.com?

要使用 JavaScript 抓取 Booking.com,您可以使用各种工具和库。一些流行的选项包括 Puppeteer、Cheerio 和 Nightmare.js。 Puppeteer 是一个允许自动交互的无头浏览器,而 Cheerio 是一个用于解析和操作 HTML 的轻量级库。 Nightmare.js 结合了 Puppeteer 和 Cheerio 的功能。这些工具使您能够自动执行 Booking.com 导航、提取数据和处理动态内容的过程,从而更轻松地使用 JavaScript 从网站上抓取信息。

我可以分享或出售从 Booking.com 获取的抓取数据吗?

不可以,分享或出售从 Booking.com 获取的抓取数据可能会违反 Booking.com 的服务条款。这也可能是非法和不道德的。网站通常有针对未经授权的数据抓取和数据商业用途的政策。如果您打算出于个人用途以外的任何目的使用或共享抓取的数据,请务必遵守 Booking.com 的条款和条件并获得明确许可。未经许可从事此类活动可能会导致法律后果。

如何在不被屏蔽的情况下抓取 Booking.com?

如果你想在不使用 Booking.com 的情况下抓取 Booking.com 面块,您可以使用 Crawlbase 抓取 API。该API包括 旋转代理 这有助于控制您的请求频率。 Crawlbase 抓取 API 拥有 30 多个地理位置,允许您战略性地分发请求。此外,您可以使用人工智能解决方案来浏览区块和验证码。保持抓取代码最新以处理网站上的任何更改至关重要。 Crawlbase 提供可靠的基础设施和一致的支持,使抓取过程更好并减少被阻止的机会。