在不断扩大的数字市场中，从亚马逊庞大的产品列表中提取有价值的见解可以改变企业和研究人员的游戏规则。 无论您是想要分析竞争对手定价的卖家、研究市场趋势的数据科学家，还是电子商务爱好者，大规模网络抓取亚马逊搜索页面都可以提供您所需的数据。 然而，大规模抓取亚马逊的搜索结果是一项具有挑战性的壮举，主要是由于庞大的数据、复杂的网页布局、速率限制、验证码和其他正在发挥作用的安全措施。

本综合指南将探讨如何使用大规模抓取亚马逊搜索页面 蟒蛇 和 Crawlbase 爬取 API。 通过利用这种强大的组合，您可以有效地从亚马逊广泛的产品列表中提取和分析数据。 无论您是电子商务企业家、数据分析师还是研究人员，本指南都将为您提供工具和知识，以便为您的亚马逊相关项目利用网络抓取的力量。

目录

  1. 了解亚马逊搜索页面抓取的需求
  • 为什么要抓取亚马逊搜索页面？
  • 网页抓取的作用
  1. Crawlbase 爬网 API 入门
  • Crawlbase 抓取 API 简介
  • 为什么选择Crawlbase抓取API？
  • Crawlbase Python 库
  1. 先决条件
  • 设置您的开发环境
  • 安装所需的库
  • 创建 Crawlbase 帐户
  1. 了解亚马逊搜索页面结构
  • 亚马逊搜索页面剖析
  • 识别数据兴趣点
  • 动态内容和 JavaScript 渲染
  1. 使用 Crawling API 抓取亚马逊搜索页面
  • 获取正确的 Crawlbase 令牌
  • 设置 Crawlbase 抓取 API
  • 处理动态内容
  • 选择刮刀
  • 处理分页
  1. 结论
  2. 常见问题解答

1.了解亚马逊搜索页面抓取的需求

在广阔的在线购物世界中，亚马逊是一个巨人。 它拥有无与伦比的品类广泛的产品选择，使其成为全球购物者的首选目的地。 然而，在这个数字市场的背后，隐藏着一个等待被发现的数据和见解的宝库。

为什么要抓取亚马逊搜索页面？

作为全球最大的电子商务平台之一，亚马逊拥有各种类别的各种产品。 从亚马逊搜索页面访问实时数据对于企业和个人来说非常宝贵。 以下是抓取亚马逊搜索页面至关重要的一些令人信服的理由：

市场调查：
抓取亚马逊搜索结果可以让您进行深入的市场研究。 您可以分析产品趋势、确定最畅销的商品并了解客户偏好。 这些数据可以指导您的产品开发和营销策略。

竞争对手分析：
在当今竞争激烈的电子商务环境中，了解竞争对手至关重要。 通过抓取亚马逊列表，您可以深入了解竞争对手的产品、定价策略和客户评论。

定价优化：
动态定价在亚马逊上很常见，价格经常变化。 抓取亚马逊搜索页面使您能够监控价格波动并实时调整定价策略以保持竞争力。

内容聚合：
如果您运行产品评论网站或需要为您的应用程序提供最新的产品信息，网络抓取允许您聚合来自亚马逊产品列表的内容。

投资决策：
对于投资者来说，抓取亚马逊数据可以为评估电子商务公司的业绩并做出明智的投资决策提供有价值的信息。

为什么要抓取亚马逊搜索页面

网页抓取的作用

网络抓取是自动从网站提取数据的过程。 它涉及向网站发送 HTTP 请求、检索 HTML 内容以及解析和提取特定信息。 在亚马逊搜索页面的上下文中，网络抓取可以帮助我们提取产品详细信息，例如标题、价格、评论等。

网页抓取具有以下几个优点：

效率：
与手动数据收集相比，自动数据提取可以节省时间和资源。

实时数据：
网络抓取提供对实时数据的访问，使您能够根据最新信息及时做出决策。

可扩展性：
使用正确的工具和技术，可以扩展网络抓取以从数百或数千个网页收集数据。

数据准确性
网络抓取降低了与手动数据输入相关的人为错误的风险。

2. Crawlbase爬取API入门

如果您是网络抓取新手或在该领域经验丰富，您会发现 Crawlbase 抓取 API 是一个功能强大的工具，可以简化从网站（包括亚马逊搜索页面）提取数据的过程。 在我们深入了解使用此 API 的细节之前，让我们花点时间了解一下它为何重要以及它如何为您带来好处。

Crawlbase 抓取 API 简介

Crawlbase 爬行 API 是一个强大的工具，使开发人员和企业能够轻松地从网站大规模抓取数据。 它旨在通过提供用户友好的界面和强大的功能来简化网络抓取。 借助 Crawlbase，您可以自动化从网站（包括亚马逊搜索页面）提取数据的过程，从而节省您宝贵的时间和精力。

Crawlbase 提供了一个 Restful API，允许您以编程方式与其爬行基础设施进行交互。 这意味着您可以向 API 发送请求，指定要抓取的 URL 以及可用的 URL 查询参数，并以结构化格式（通常是 HTML 或 JSON）接收抓取的数据。 您可以阅读有关 Crawlbase 爬行 API 的更多信息 点击此处.

为什么选择Crawlbase抓取API？

您可能想知道，当其他网络抓取工具和库可用时，为什么应该选择 Crawlbase Crawling API。 以下是一些令人信服的理由：

可扩展性： Crawlbase 专为大规模网络抓取而构建。 无论您需要抓取几百页还是数百万页，Crawlbase 都可以处理，确保您的抓取项目可以随着您的需求而增长。

可靠性： 网络抓取可能要求很高，因为网站经常改变其结构。 Crawlbase 提供强大的错误处理和监控功能，减少抓取作业意外失败的可能性。

代理管理： 许多网站采用 IP 封锁等反抓取措施。 Crawlbase 提供代理管理，帮助您避免 IP 封禁并更可靠地访问数据。

方便： 借助 Crawlbase 的 API，您无需担心创建和维护自己的爬虫或抓取器。 它是一个基于云的解决方案，可以处理技术复杂性，使您能够专注于数据提取任务。

实时数据： 借助 Crawling API，您将始终掌握最新的数据。 它实时抓取所有内容。 这对于准确的分析和决策至关重要。

性价比高： 构建和维护内部抓取解决方案可能非常昂贵。 爬取API非常划算，您只需按照您的要求付费即可。 您可以计算 Crawling API 使用的定价 点击此处.

为什么选择爬取API

Crawlbase Python 库

要利用 Crawlbase Crawling API 的强大功能，您可以使用 Crawlbase Python 库。 该库简化了 Crawlbase 与 Python 项目的集成，使各种专业水平的 Python 开发人员都可以使用它。

首先，初始化Crawling API类。

1
api = 爬行API({ '令牌': 'YOUR_CRAWLBASE_TOKEN' })

使用以下函数传递您要抓取的 URL。

1
api.get(url, 选项 = {})

您可以传递以下可用选项中的任何选项 API文档.

示例：

1
2
3
4
5
6
响应 = api.get('https://www.reddit.com/r/pics/comments/5bx4bx/thanks_obama/'，{
    '用户代理': 'Mozilla/5.0（Windows NT 6.2；rv:20.0）Gecko/20121202 Firefox/30.0',
    '格式': 'json'
})
if 回复['状态代码'] == 200:
    打印（回复['身体'])

Crawlbase Python 库还提供了许多其他功能。 您可以阅读更多相关内容 点击此处.

在以下部分中，我们将指导您利用 Crawlbase 抓取 API 的功能来有效地抓取亚马逊搜索页面。 我们将使用 Python（一种多功能编程语言）来逐步演示该过程。 让我们探索亚马逊丰富的信息并了解如何释放其潜力。

3。 先决条件

在我们开始网络抓取之旅之前，让我们确保您已准备好所有必要的工具和资源。 在本章中，我们将介绍使用 Crawlbase 抓取 API 成功抓取亚马逊搜索页面所需的先决条件。

设置您的开发环境

您需要一个合适的开发环境才能开始网络抓取。 这是您需要的：

Python：
Python 是一种广泛用于网络抓取的通用编程语言。 确保您的系统上安装了 Python。 您可以从官网下载最新版本的Python 点击此处.

代码编辑器或 IDE：
选择代码编辑器或集成开发环境 (IDE) 来编写和运行 Python 代码。 受欢迎的选项包括 PyCharm及 Jupyter笔记本。 你也可以使用 谷歌合作实验室。 选择最适合您的偏好和工作流程的一项。

安装所需的库

使用可简化诸如创建 HTTP、解析 HTML 和处理数据等任务的库，可以使 Python 中的 Web 抓取变得更容易访问。 使用 Python 的包管理器 pip 安装以下库：

1
2
pip 安装熊猫
点安装爬虫库

熊猫： Pandas 是一个强大的数据操作库，可以帮助您有效地组织和分析抓取的数据。
爬行基地： 一个轻量级、无依赖的 Python 类，充当 Crawlbase API 的包装器。

创建 Crawlbase 帐户

要访问 Crawlbase Crawler API，您需要一个 Crawlbase 帐户。 如果您没有帐户，请按照以下步骤创建一个帐户：

  1. 点击 点击此处 创建一个新的 Crawlbase 帐户。
  2. 填写所需信息，包括您的姓名、电子邮件地址和密码。
  3. 通过单击发送到您收件箱的验证链接来验证您的电子邮件地址。
  4. 一旦您的电子邮件经过验证，您就可以访问 Crawlbase 仪表板。

现在您的开发环境已设置完毕，并且您已准备好 Crawlbase 帐户，让我们继续执行后续步骤，我们将获取您的 Crawlbase 令牌并开始向 Crawlbase 抓取 API 发出请求。

4. 了解亚马逊搜索页面结构

在我们开始网络抓取之旅之前，了解亚马逊搜索页面的结构至关重要。 亚马逊的网页经过精心设计，旨在提供无缝的购物体验，但用户友好的界面之下隐藏着大量有价值的数据。 Amazon 为搜索查询提供以下 URL。

1
2
# 将serch_query替换为你想要的
https://www.amazon.com/s?k=search_query

亚马逊搜索页面剖析

亚马逊搜索页面通常由几个关键元素组成：

亚马逊搜索页面
  1. 标题： 页面的顶部包含亚马逊徽标、搜索栏和导航链接。 它提供对亚马逊网站各个部分的访问。
  2. 搜索结果： 这是页面的核心，您可以在其中找到搜索结果。 每个结果代表一个产品列表，包括产品名称、价格、卖家和客户评级等信息。
  3. 过滤器和排序选项： 亚马逊允许用户根据价格范围、品牌、客户评级等应用过滤器来优化搜索结果。 排序选项让用户可以根据相关性、价格或客户评级来排列产品。
  4. 分页： 如果搜索结果跨越多个页面，分页控件通常位于页面底部。 用户可以浏览不同的结果页面。
  5. 页脚： 页脚包含各种亚马逊政策、客户服务和其他资源的链接。 这是页面的最后一部分。

识别数据兴趣点

要有效地抓取亚马逊搜索页面，您需要确定要提取的特定数据点。 根据您的目标，您可能对各种信息感兴趣，包括：

  • 产品名称： 所销售产品的名称。
  • 价格： 产品的当前价格。
  • 卖家信息： 有关卖家的详细信息，例如姓名和评分。
  • 产品供货情况： 有关产品是否有库存或缺货的信息。
  • 产品网址： 指向亚马逊上产品页面的 URL。
  • 客户评价： 购买该产品的客户提供的评级和评论。
  • 产品特点： 产品的主要特征或属性。
  • 航运信息： 有关运输选项的详细信息，包括交货时间和费用。
  • 赞助列表： 亚马逊经常在搜索结果的顶部包含赞助商列表。 这些是付费广告。

动态内容和 JavaScript 渲染

与许多现代网站一样，Amazon 通过 JavaScript 渲染和 Ajax 调用动态加载内容。 这意味着页面的某些部分（例如搜索结果和过滤器）可能不会出现在初始 HTML 源代码中。 相反，它们是在页面最初加载到用户浏览器中之后动态加载的。

当尝试从亚马逊搜索页面抓取数据时，这种动态行为可能会带来挑战。 然而，借助 Crawlbase 抓取 API，您可以有效克服这些挑战。 在接下来的部分中，我们将探讨如何在抓取亚马逊搜索页面时处理动态内容和 JavaScript 渲染。

通过了解亚马逊搜索页面的结构并查明您感兴趣的数据点，您将更好地准备使用 Crawlbase 抓取 API 构建有针对性的网络抓取查询。 在接下来的章节中，我们将深入探讨网络抓取的实际方面，指导您完成有效检索这些有价值信息的过程。

5. 使用 Crawling API 抓取亚马逊搜索页面

在本节中，我们将踏上一段激动人心的旅程，使用 Crawlbase 抓取 API 大规模抓取亚马逊搜索页面。 例如，我们将收集与亚马逊搜索查询“游戏”相关的产品的基本信息。 为了实现这一目标，我们将使用 Crawlbase Python 库，它提供与 Crawling API 的无缝集成。 让我们深入了解一下这个过程：

获取正确的 Crawlbase 令牌

在释放 Crawlbase Crawling API 的力量之前，我们必须获得 API 令牌。 Crawlbase 提供两种类型的令牌：用于静态网站的普通令牌 (TCP) 和用于动态或 JavaScript 驱动的网站的 JavaScript 令牌 (JS)。 鉴于亚马逊严重依赖 JavaScript 进行动态内容加载，我们将选择 JavaScript 令牌。

1
2
3
4
止 爬行基地 进口 抓取API

# 使用您的 Crawlbase JavaScript 令牌初始化 Crawling API
api = 爬行API({ '令牌': 'YOU_CRAWLBASE_JS_TOKEN' })

您可以获得您的 Crawlbase 令牌 点击此处 在其上创建帐户后。

设置 Crawlbase 抓取 API

有了 JavaScript 令牌，我们就可以配置 Crawlbase 抓取 API。 在进一步开始之前，我们需要了解输出响应结构。 您可以接收两种类型的输出响应：HTML 或 JSON。 默认情况下，Crawling API 使用 HTML 格式。

HTML 响应：

1
2
3
4
5
6
7
头:
  网址: “被抓取的URL”
  原始状态: 200
  电脑状态: 200

Body:
  页面的 HTML

要获取 JSON 格式的响应，您必须传递值为“json”的参数“format”。

JSON 响应：

1
2
3
4
5
6
{
  “原始状态”: “200”,
  “电脑状态”: 200,
  “网址”: “被抓取的URL”,
  “身体”: “页面的 HTML”
}

我们可以在此处阅读有关抓取 API 响应的更多信息。 对于示例，我们将使用默认选项。 我们将利用初始化的 API 对象来发出请求。 使用 api.get(url, options={}) 函数指定要抓取的 URL。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
止 爬行基地 进口 抓取API

# 使用您的 Crawlbase 令牌初始化 Crawling API
api = 爬行API({ '令牌': 'YOU_CRAWLBASE_JS_TOKEN' })

# 您想要抓取的亚马逊搜索页面的 URL
亚马逊搜索网址= 'https://www.amazon.com/s?k=games'

# 发出抓取亚马逊搜索页面的请求
响应 = api.get(amazon_search_url)

# 检查请求是否成功
if 回复['状态代码'] == 200:
    # 解码字节数据后提取的HTML内容
    #latin1 也将处理中文字符）
    html_内容=响应['身体']。解码（'拉丁1')

    # 将 HTML 内容保存到文件中
      打开('输出.html', 'w', 编码='utf-8') as 文件：
      文件.write(html_content)
其他:
    打印(“检索页面失败。状态代码：”， 回复['状态代码'])

在上面的代码片段中，我们通过将检索到的 HTML 内容保存到 HTML 文件来保留它。 此步骤对于验证我们是否已成功获取所需的 HTML 数据至关重要。 我们可以预览文件并查看爬取的 HTML 中包含哪些内容。

output.html 预习：

输出无内容

正如您在上面所看到的，爬网的 HTML 中不存在任何有用的信息。 这是因为 Amazon 使用 JavaScript 和 Ajax 动态加载其重要内容。

处理动态内容

与许多现代网站一样，亚马逊搜索页面使用 JavaScript 渲染和 Ajax 调用动态加载内容。 当尝试从这些页面抓取数据时，这种动态行为可能会带来挑战。 然而，借助 Crawlbase 抓取 API，您可以有效克服这些挑战。 我们可以使用Crawling API提供的以下查询参数来克服这个问题。

添加参数
将 JavaScript 令牌与 Crawlbase API 结合使用时，您可以指定一些特殊参数，以确保准确捕获动态呈现的内容。 以下是一些关键参数：

  • 页面等待： 此可选参数允许您指定浏览器捕获生成的 HTML 代码之前等待的毫秒数。 当页面需要一些时间来呈现或需要在捕获 HTML 之前加载 AJAX 请求时，请使用此参数。
  • ajax_等待： JavaScript 令牌的另一个可选参数。 它允许您指定在接收 HTML 响应之前是否等待 AJAX 请求完成。 当内容依赖于 AJAX 请求时，这一点很重要。

为了在我们的示例中使用这些参数，我们可以像这样更新我们的代码：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
止 爬行基地 进口 抓取API

# 使用您的 Crawlbase 令牌初始化 Crawling API
api = 爬行API({ '令牌': 'YOU_CRAWLBASE_JS_TOKEN' })

# 您想要抓取的亚马逊搜索页面的 URL
亚马逊搜索网址= 'https://www.amazon.com/s?k=games'

# 抓取 API 的选项
选项= {
 '页面等待': 2000,
 'ajax_等待': '真的'
}

# 发出请求以使用选项抓取亚马逊搜索页面
响应 = api.get(amazon_search_url, 选项)

# 检查请求是否成功
if 回复['状态代码'] == 200:
    # 解码字节数据后提取的HTML内容
    html_内容=响应['身体']。解码（'拉丁1')

    # 将 HTML 内容保存到文件中
      打开('输出.html', 'w', 编码='utf-8') as 文件：
      文件.write(html_content)
其他:
    打印(“检索页面失败。状态代码：”， 回复['状态代码'])

output.html 预习：

输出内容

Crawling API 提供了许多其他重要参数。 您可以阅读有关他们的信息 点击此处.

选择刮刀

Crawling API 为不同的重要网站（包括亚马逊）提供了多个内置抓取工具。 您可以在此处了解可用的抓取工具。 “scraper”参数用于根据Crawlbase API提供的特定scraper来解析检索到的数据。 这是可选的； 如果未指定，您将收到用于手动抓取的页面的完整 HTML。 如果使用此参数，响应将以 JSON 形式返回，其中包含根据指定抓取工具解析的信息。

示例：

1
2
# 使用特定抓取工具的示例
响应 = api.get('https://www.amazon.com/s?k=your_search_query'，{ '刮刀': 'scraper_name' })

可用的抓取工具之一是“amazon-serp”，专为亚马逊搜索结果页面而设计。 它返回一系列产品，其中包含名称、价格、客户评论等详细信息。 以下是“amazon-serp”抓取器的输出示例：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
{
  “产品”: [
    {
      “名称”: “产品名称”,
      “价钱”: “ $ 19.99”,
      “原始价格”: 19.99,
      “货币”: “$”,
      “提供”: 「优惠详情」,
      “客户评论”: “4.5 颗星，最多 5 颗星”,
      “客户评论计数”: “1,234”,
      “发货信息”: “送货细节”,
      “阿信”: “产品 ASIN”,
      “图片”: “产品图片网址”,
      “网址”: “产品网址”,
      “是总理”: true,
      “赞助广告”: false,
      “优惠券信息”: 「优惠券详情」,
      “徽章信息”: [“徽章1”, “徽章2”]
    }
    // 附加产品条目...
  ],
  “结果信息”: 「结果信息」,
  “分页”: {
    “当前页面”: 1,
    “下一页”: 2,
    “总页数”: 20
  }
}

这包括我们想要的所有信息。 由于这次响应将是 JSON，因此我们会将每个产品对象的一些重要信息存储到 CSV 文件中。 因此，让我们将此参数添加到我们的示例中并根据响应进行更改：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
止 爬行基地 进口 抓取API
进口 大熊猫 as pd
进口 JSON

# 使用您的 Crawlbase 令牌初始化 Crawling API
api = 爬行API({ '令牌': 'YOU_CRAWLBASE_JS_TOKEN' })

# 您想要抓取的亚马逊搜索页面的 URL
亚马逊搜索网址= 'https://www.amazon.com/s?k=games'

# 抓取 API 的选项
选项= {
 '页面等待': 2000,
 'ajax_等待': '真的',
 '刮刀': '亚马逊-serp'
}

# 发出请求以使用选项抓取亚马逊搜索页面
响应 = api.get(amazon_search_url, 选项)

# 检查请求是否成功
if 回复['状态代码'] == 200:
  # 解码字节数据后从响应体加载 JSON
  response_json = json.loads(响应['身体']。解码（'拉丁1'))

  # 获取抓取结果
  scraper_result = 响应_json['身体']

  # 从 JSON 响应中提取产品
  产品 = scraper_result.get(“产品”，[]）

  # 创建列表来存储提取的数据
  产品数据 = []
    
产品展示 in 产品：
    产品信息 = {
      “网址”: 产品.获取(“网址”, ""),
      “名称”: 产品.获取(“名称”, ""),
      “阿信”: 产品.获取(“阿信”, ""),
      “图片”: 产品.获取(“图片”, ""),
      “价钱”: 产品.获取(“价钱”, ""),
      “是总理”: 产品.获取(“是总理”, ""),
      “提供”: 产品.获取(“提供”, ""),
      “客户评论”: 产品.获取(“客户评论”, ""),
      “客户评论计数”: 产品.获取(“客户评论计数”, ""),
    }
    产品数据.append(产品信息)

  # 从提取的数据创建一个 Pandas DataFrame
  df = pd.DataFrame(产品数据)

  # 将 DataFrame 保存到 CSV 文件
  df.to_csv(“amazon_products.csv”, 索引=假)
其他:
    打印(“检索页面失败。状态代码：”， 回复['状态代码'])

在上面的代码中，我们在选项中添加了 scraper，然后收集了响应中每个产品 JSON 对象所需的所有信息。 最后，我们创建一个 Pandas 数据框，以使用其“to_csv”函数将数据保存在 CSV 文件中。

amazon_products.csv 预习：

不分页的 CSV 输出

处理分页

在抓取亚马逊搜索页面时，正确处理分页以收集您需要的所有产品至关重要。 Crawlbase“amazon-serp”在 JSON 响应中提供分页信息，包括当前页面、下一页和总页数。

1
2
3
4
5
6
//示例
“分页”: {
  “当前页面”: 1,
  “下一页”: 2,
  “总页数”: 20
}

如您所见，“currentPage”表示您当前所在的页面，“nextPage”显示下一组结果的页码，“totalPages”告诉您总共有多少页可用。

要抓取所有产品，您需要迭代这些页面，发送在 URL 后附加适当页码的请求，就像 Amazon 所做的那样：

让我们更新示例代码来处理分页并抓取所有产品：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
止 爬行基地 进口 抓取API
进口 大熊猫 as pd
进口 JSON

# 使用您的 Crawlbase 令牌初始化 Crawling API
api = 爬行API({ '令牌': 'YOU_CRAWLBASE_JS_TOKEN' })

# 您想要抓取的亚马逊搜索页面的 URL
亚马逊搜索网址= 'https://www.amazon.com/s?k=games'

# 抓取 API 的选项
选项= {
 '页面等待': 2000,
 'ajax_等待': '真的',
 '刮刀': '亚马逊-serp'
}

# 存储抓取到的商品信息的列表
产品数据 = []

DEF 抓取网址(网址):
    # 发出请求以使用选项抓取亚马逊搜索页面
    响应 = api.get(url, 选项)

    # 检查请求是否成功
    if 回复['状态代码'] == 200:
        # 解码字节数据后从响应体加载 JSON
        response_json = json.loads(响应['身体']。解码（'拉丁1'))

        # 获取抓取结果
        scraper_result = 响应_json['身体']

        # 从 JSON 响应中提取产品
        产品 = scraper_result.get(“产品”，[]）

          
产品展示 in 产品：
            产品信息 = {
                “网址”: 产品.获取(“网址”, ""),
                “名称”: 产品.获取(“名称”, ""),
                “阿信”: 产品.获取(“阿信”, ""),
                “图片”: 产品.获取(“图片”, ""),
                “价钱”: 产品.获取(“价钱”, ""),
                “是总理”: 产品.获取(“是总理”, ""),
                “提供”: 产品.获取(“提供”, ""),
                “客户评论”: 产品.获取(“客户评论”, ""),
                “客户评论计数”: 产品.获取(“客户评论计数”, ""),
            }
            产品数据.append(产品信息)

        # 提取分页信息并返回
        分页 = scraper_result.get(“分页”)
        回报 分页

    其他:
        打印(“检索页面失败。状态代码：”， 回复['状态代码'])
        回报 不包含

# 抓取初始页面并获取分页信息
pagination_info = scrape_url(amazon_search_url)

# 检查分页信息是否可用
if 分页信息：
    总页数 = pagination_info.get('总页数', 1)

    # 从第 2 页开始，因为第一页已经被抓取了
      页码 in 范围(2, 总页数 + 1):
        页面网址 = f'{amazon_search_url}&页面={页码}'
        刮取网址（页面网址）

# 从提取的数据创建一个 Pandas DataFrame
df = pd.DataFrame(产品数据)

# 将 DataFrame 保存到 CSV 文件
df.to_csv(“amazon_products.csv”, 索引=假)

在此代码部分中，我们启动网络抓取过程。 首先，我们定义要抓取的亚马逊搜索 URL。 然后，代码检查初始页面上的分页信息。 如果存在分页，意味着有多个结果页面，则代码将迭代后续页面以抓取其他产品数据。

最后，提取的数据被组织成 Pandas 数据框架，以便轻松进行数据操作，并将数据框架保存到 CSV 文件中。 此代码可确保您可以从搜索结果中收集亚马逊产品的全面数据集，即使它们跨越多个页面。

amazon_products.csv 预习：

带分页的 CSV 输出

6。 结论

在快速发展的数字环境中，从亚马逊综合产品列表中提取可行见解的能力对于企业和研究专业人员来说变得越来越重要。 对于分析竞争对手定价动态的电子商务企业家、评估市场波动的数据分析师或电子商务领域的研究人员来说，亚马逊搜索页面的大规模网络抓取可以提供所需的精确数据。 然而，由于数据量、复杂的网络架构、速率限制、验证码以及亚马逊严格的安全措施等因素，这项任务非常具有挑战性。

本指南详细探讨了利用 Python 和 Crawlbase 爬行 API 有效抓取亚马逊搜索页面的方法。 通过集成这些强大的工具，用户可以无缝地从亚马逊庞大的产品列表中提取和审查数据。 无论角色是业务战略家、数据科学家还是研究专家，本文档都为以亚马逊为中心的网络抓取企业的成功提供了必要的技术知识和资源。

涵盖的关键方面包括了解亚马逊搜索页面抓取的基础知识、启动和操作 Crawlbase 抓取 API、配置开发环境以及掌握亚马逊搜索页面的架构。 此外，还向用户介绍了如何处理动态内容、优化抓取工具选择以及有效管理分页。

随着专业人士进一步参与网络抓取活动，遵守道德和技术标准仍然至关重要。 必须遵守网站的服务条款和 robots.txt 指南。 此外，确保网络抓取用于合法、建设性的目的。 借助从本指南中获得的知识，专业人士能够充分利用亚马逊产品列表提供的广泛数据潜力，推动分析和业务成果。

7。 经常问的问题

问：我可以抓取亚马逊搜索页面进行个人研究或分析吗？

只要您遵守亚马逊的服务条款并尊重其网站的规则，抓取亚马逊搜索页面进行个人研究或分析通常是可以接受的。 但是，请务必注意发送到网站的请求量，因为过度抓取可能会导致 IP 封锁或其他防止抓取的措施。 为了解决这个问题，您可以考虑使用 Crawlbase 爬取 API 它允许您以更加结构化和可控的方式从网站上抓取数据，帮助您避免与过多请求相关的潜在问题。 这种方法可以让您在遵守亚马逊政策的范围内进行研究和分析。

问：抓取亚马逊时有任何速率限制或验证码吗？

是的，亚马逊采用速率限制和验证码来保护其网站免遭过度或自动访问。 在抓取亚马逊数据时，必须以合理的速率发送请求，并实施处理验证码（如果遇到）的机制。 使用 Crawlbase Crawling API 等服务可以帮助您有效应对这些挑战。

问：我可以使用类似的技术抓取其他电子商务网站吗？

是的，许多电子商务网站都采用类似的网络抓取技术，并且本指南中讨论的原理可以应用于从其他电子商务平台抓取数据。 但是，请记住，每个网站可能都有自己的政策和挑战，因此有必要查看其服务条款并相应地调整您的抓取方法。

问：抓取亚马逊搜索页面有哪些常见用例？

抓取亚马逊搜索页面的常见用例包括市场研究、竞争对手分析、定价优化、产品评论网站的内容聚合以及做出明智的投资决策。 网络抓取可以为电子商务企业、数据分析师、研究人员和企业家提供有价值的见解。