如何使用 Python 抓取 Amazon PPC AD 数据

本博客是使用 Python 抓取 Amazon PPC 广告数据的分步指南。亚马逊 PPC 广告（即商品推广）已成为亚马逊庞大广告生态系统的关键组成部分。这些是您在亚马逊上执行搜索时看到的广告，通常标记为“赞助”或“广告”。抓取竞争对手的赞助广告数据给您带来的不仅仅是竞争优势。向下滚动以了解更多亚马逊广告如何使您的业务受益，或者您可以通过点击直接抓取亚马逊广告数据点击此处.

所以，放松一下，喝杯咖啡，让我们了解如何像专业人士一样使用 Python 抓取 Amazon PPC 广告数据！ 😉

2.开始治疗

亚马逊拥有一个庞大且不断扩大的市场。每个月，大约 200 亿人在亚马逊上购物。亚马逊市场目前有超过 2.5 万卖家在销售他们的商品。一家公司可以尽一切努力提高其品牌和产品的知名度，但在早期阶段，它往往需要利用别人的品牌来建立自己的品牌。想要扩大亚马逊等平台的规模以吸引客户群的小型商店将无法独自做到这一点。亚马逊向近 200,000 万家年销售额在 100,000 万美元或以上的企业销售产品。在市场上，大约 25,000 家供应商的收入超过 1 万美元。

让我们进一步探讨为什么应该抓取亚马逊广告。

亚马逊 PPC 广告的力量

这就是这些广告如此有效的原因：

增强可见性：亚马逊 PPC 广告可提高产品知名度，帮助您的产品出现在相关搜索结果的顶部，甚至高于有机列表。这增加了潜在客户看到并点击您的产品的可能性。
精确定位：亚马逊广告是激光聚焦的目标。您可以选择特定的关键字、产品或类别来展示您的广告，确保它们覆盖最相关的受众群体。
只按性能付费：使用 PPC，您只需在用户点击您的广告时付费，这意味着您不仅仅在展示次数上花钱；您正在投资于潜在的转化。
数据驱动的见解：亚马逊赞助广告提供了有关广告效果的丰富数据和分析。您可以跟踪点击次数、转化次数和其他关键指标。
竞争优势：利用 Amazon PPC 可以让您比竞争对手更具优势，尤其是在您推出新产品时。

为什么要抓取亚马逊赞助广告数据？

抓取亚马逊 PPC 广告数据可能不是第一个想到的想法，但它对电子商务企业来说具有巨大的潜力。以下是您应该考虑深入研究抓取 Amazon PPC 广告数据的原因：

竞争力分析：通过从 Amazon PPC 广告中抓取数据，您可以深入了解竞争对手的广告策略。您可以监控他们的关键字、广告文案和出价策略，以在竞争中保持领先地位。
优化您的广告活动：通过访问您自己的 Amazon PPC 营销活动的数据，您可以详细分析其绩效。您可以确定哪些有效，哪些无效，帮助您做出数据驱动的决策以优化广告支出。
发现新关键词：抓取广告数据可以发现您在初始研究中可能错过的有价值的关键字。这些新关键字也可用于增强您的有机列表。
保持知情：亚马逊的广告系统是动态的。新产品、新关键词和不断变化的趋势需要持续监控。抓取可以让您了解这些变化，并确保您的广告策略保持相关性。
研究和市场洞察：除了您自己的广告活动之外，抓取 Amazon PPC 广告数据还可以提供有关市场趋势和客户行为的更广泛的视角。您可以通过大规模分析广告数据来识别上升趋势和客户偏好。

在本指南的后续部分中，您将深入研究抓取 Amazon PPC 广告数据的技术方面，释放在电子商务领域获得竞争优势的潜力。

2. Crawlbase爬取API入门

如果您是网络抓取新手或在该领域经验丰富，您会发现 Crawlbase 抓取 API 简化了从网站提取数据的过程，包括抓取亚马逊搜索页面。在详细介绍使用此 API 之前，让我们花点时间了解一下它为何重要以及它如何为您带来好处。

Crawlbase 抓取 API 简介

Crawlbase 爬行 API 是最好的之一网络爬虫工具这使得开发人员和企业能够轻松地从网站上大规模抓取数据。它旨在通过提供用户友好的界面和强大的功能来简化网络抓取。借助 Crawlbase，您可以自动化从网站（包括亚马逊搜索页面）提取数据的过程，从而节省您宝贵的时间和精力。

Crawlbase 提供了一个 Restful API，允许您以编程方式与其爬行基础设施进行交互。这意味着您可以向 API 发送请求，指定要抓取的 URL 以及可用的 URL 查询参数，并以结构化格式（通常是 HTML 或 JSON）接收抓取的数据。您可以阅读有关 Crawlbase 爬行 API 的更多信息点击此处.

为什么选择Crawlbase抓取API？

您可能想知道，当其他网络抓取工具和库可用时，为什么应该选择 Crawlbase Crawling API。以下是一些令人信服的理由：

可扩展性：Crawlbase 是为大规模网络抓取而构建的。无论您需要抓取几百页还是数百万页，Crawlbase 都可以处理，确保您的抓取项目可以随着您的需求而增长。

值得信赖：网络抓取可能要求很高，因为网站经常改变其结构。 Crawlbase 提供强大的错误处理和监控功能，减少抓取作业意外失败的可能性。

代理管理：许多网站采用 IP 封锁等反抓取措施。 Crawlbase 提供轮换代理，帮助您避免 IP 禁令并更可靠地访问数据。

方便：使用Crawlbase的API，您无需担心创建和维护自己的爬虫或抓取器。它是一个基于云的解决方案，可以处理技术复杂性，使您能够专注于数据提取任务。

实时数据：通过Crawling API，您将始终掌握最新和更新的数据。它实时抓取所有内容。这对于准确的分析和决策至关重要。

性价比最高：构建和维护内部抓取解决方案可能非常昂贵。爬取API非常划算，您只需按照您的要求付费即可。您可以计算 Crawling API 使用的定价点击此处.

Crawlbase Python 库

要利用 Crawlbase Crawling API 的强大功能，您可以使用 Crawlbase Python 库。该库简化了 Crawlbase 与 Python 项目的集成，使各种专业水平的 Python 开发人员都可以使用它。

首先，初始化Crawling API类。

1	api = 爬行API({ '令牌': 'YOUR_CRAWLBASE_TOKEN' })

使用以下函数传递您要抓取的 URL。

1	api.get(url, 选项 = {})

示例：

1
2
3

响应 = api.get('https://www.facebook.com/britneyspears')
if 回复['状态代码'] == 200:
    打印（回复['身体'])

您可以传递以下可用选项中的任何选项 API文档.

示例：

响应 = api.get('https://www.reddit.com/r/pics/comments/5bx4bx/thanks_obama/'，{
    '用户代理': 'Mozilla/5.0（Windows NT 6.2；rv:20.0）Gecko/20121202 Firefox/30.0',
    '格式': 'json'
})
if 回复['状态代码'] == 200:
    打印（回复['身体'])

Crawlbase Python 库还提供了许多其他功能。您可以阅读更多相关内容点击此处.

在以下部分中，我们将指导您利用 Crawlbase 抓取 API 的功能来有效地抓取亚马逊搜索页面。我们将使用 Python（一种多功能编程语言）来逐步演示该过程。让我们探索亚马逊丰富的信息并了解如何释放其潜力。

3. 了解亚马逊 PPC 广告

在深入研究抓取 Amazon PPC 广告数据的技术方面之前，了解亚马逊赞助广告、其不同类型以及您想要抓取的具体数据至关重要。我们先来解码亚马逊的广告系统。

解读亚马逊的广告系统

亚马逊的广告系统以多种方式宣传其产品，例如商品推广、品牌推广、展示型推广等。让我们关注最常见的类型，即赞助产品。

商品推广是亚马逊广告的一种形式，允许卖家在亚马逊搜索结果中宣传单个产品列表。这些广告显示在搜索结果页面和产品详细信息页面的显着位置。

亚马逊上的 PPC 广告类型

亚马逊提供一系列 PPC 广告类型。了解亚马逊广告类型对于有效的广告策略至关重要。以下是主要类型的概述：

赞助产品：这些广告在搜索结果和产品详细信息页面上宣传单个产品列表。
赞助品牌：以前称为标题搜索广告，品牌推广允许广告商在横幅广告中展示其品牌徽标、自定义标题和精选产品。
赞助展示：此广告类型旨在覆盖亚马逊内外的受众。它包括产品定位和受众定位等功能。
展示再营销：广告商可以重新定位之前访问过其产品详细信息页面的用户。
影片广告：亚马逊为品牌提供插播视频广告，通过视频内容吸引购物者。
商店：亚马逊品牌旗舰店是品牌展示其产品的定制多页面购物目的地。

您想要抓取的数据

现在您已经了解了亚马逊的广告，接下来让我们重点关注您想要从亚马逊 PPC 广告中获取的具体数据。抓取 Amazon PPC 广告数据时，您通常要提取的关键信息包括：

广告活动信息：此数据可让您深入了解广告活动的整体效果。它包括活动名称、ID、开始和结束日期以及预算详细信息。
关键字数据：关键词是PPC广告的基础。您需要抓取关键字信息，包括广告系列中使用的关键字、其匹配类型（广泛、短语、精确）和出价金额。
广告组详细信息：广告组可帮助您根据常见主题整理广告。抓取广告组数据可以让您了解广告系列的结构。
广告效果指标：基本指标包括点击次数、展示次数、点击率、转化率、总支出等。这些指标可帮助您评估广告的效果。
产品信息：提取有关广告产品的数据（例如 ASIN、产品标题、价格和图像 URL）对于优化广告内容至关重要。
竞争对手分析：除了您自己的广告数据之外，您可能还想抓取竞争对手的广告信息，以深入了解他们的策略和关键字定位。

了解这些核心元素以及您想要抓取的具体数据将有助于您在使用 Python 和 Crawlbase 抓取 API 抓取 Amazon PPC 广告数据方面取得进展。在后续部分中，您将学习如何将这种理解转化为可操作的技术流程。

4。先决条件

在我们开始网络抓取之旅之前，让我们确保您已准备好所有必要的工具和资源。在本章中，我们将介绍使用 Crawlbase 抓取 API 成功抓取亚马逊搜索页面所需的先决条件。

设置您的开发环境

您需要一个合适的开发环境才能开始网络抓取。这是您需要的：

蟒蛇:
Python 是一种广泛用于网络抓取的通用编程语言。确保您的系统上安装了 Python。您可以从这里的官方网站下载最新版本的Python。

代码编辑器或 IDE:
选择代码编辑器或集成开发环境 (IDE) 来编写和运行 Python 代码。受欢迎的选项包括 PyCharm及 Jupyter笔记本。你也可以使用谷歌合作实验室。选择最适合您的偏好和工作流程的一项。

安装所需的库

使用可简化诸如创建 HTTP、解析 HTML 和处理数据等任务的库，可以使 Python 中的 Web 抓取变得更容易访问。使用 Python 的包管理器 pip 安装以下库：

1
2
3

pip 安装熊猫
点安装爬虫库
pip 安装 beautifulsoap4

熊猫：Pandas 是一个强大的数据操作库，可以帮助您有效地组织和分析抓取的数据。
爬虫库：一个轻量级、无依赖的 Python 类，充当 Crawlbase API 的包装器。
美丽的汤：Beautiful Soup 是一个 Python 库，可以轻松解析 HTML 并从网页中提取数据。

创建 Crawlbase 帐户

访问抓取基地抓取 API，您需要一个爬虫库帐户。如果您没有帐户，请按照以下步骤创建一个帐户：

点击点击此处创建一个新的 Crawlbase 帐户。
填写所需信息，包括您的姓名、电子邮件地址和密码。
通过单击发送到您收件箱的验证链接来验证您的电子邮件地址。
一旦您的电子邮件经过验证，您就可以访问 Crawlbase 仪表板。

现在您的开发环境已设置完毕，并且您已准备好 Crawlbase 帐户，让我们继续执行后续步骤，我们将获取您的 Crawlbase 令牌并开始向 Crawlbase 抓取 API 发出请求。

5. 亚马逊 PPC 广告抓取 - 一步一步

现在我们已经奠定了基础，是时候深入了解逐步抓取 Amazon PPC 广告数据的技术流程了。本节将指导您完成整个旅程，从向 Amazon 发出 HTTP 请求、导航搜索结果页面，到构建抓取工具以提取广告数据。我们还将探索处理分页以发现更多广告。

获取正确的 Crawlbase 令牌

在释放 Crawlbase Crawling API 的力量之前，我们必须获得 API 令牌。 Crawlbase 提供两种类型的令牌：用于静态网站的普通令牌 (TCP) 和用于动态或 JavaScript 驱动的网站的 JavaScript 令牌 (JS)。鉴于亚马逊严重依赖 JavaScript 进行动态内容加载，我们将选择 JavaScript 令牌。

止 爬行基地 进口 抓取API

# 使用您的 Crawlbase JavaScript 令牌初始化 Crawling API
api = 爬行API({ '令牌': 'YOU_CRAWLBASE_JS_TOKEN' })

您可以获得您的 Crawlbase 令牌点击此处在其上创建帐户后。

设置 Crawlbase 抓取 API

有了 JavaScript 令牌，我们就可以设置 Crawlbase 爬行 API。但在继续之前，让我们深入研究一下输出响应的结构。您收到的响应可以采用两种格式：HTML 或 JSON。抓取 API 的默认选择是 HTML 格式。

HTML 响应：

头:
  网址: “被抓取的URL”
  原始状态: 200
  电脑状态: 200

Body:
  页面的 HTML

要获取 JSON 格式的响应，您必须传递值为“json”的参数“format”。

JSON 响应：

{
  “原始状态”: “200”,
  “电脑状态”: 200,
  “网址”: “被抓取的URL”,
  “身体”: “页面的 HTML”
}

我们可以阅读更多关于抓取 API 响应的信息点击此处。对于示例，我们将使用默认选项。我们将利用初始化的 API 对象来发出请求。使用以下命令指定您要抓取的 URL api.get(url, options={}) 功能。

止 爬行基地 进口 抓取API

# 使用您的 Crawlbase 令牌初始化 Crawling API
api = 爬行API({ '令牌': 'YOU_CRAWLBASE_JS_TOKEN' })

# 您想要抓取的亚马逊搜索页面的 URL
亚马逊搜索网址= 'https://www.amazon.com/s?k=耳机'

# 发出抓取亚马逊搜索页面的请求
响应 = api.get(amazon_search_url)

# 检查请求是否成功
if 回复['状态代码'] == 200:
    # 解码字节数据后提取的HTML内容
    #latin1 也将处理中文字符）
    html_内容=响应['身体']。解码（'拉丁1')

    # 将 HTML 内容保存到文件中
      打开('输出.html', 'w', 编码='utf-8') as 文件：
      文件.write(html_content)
其他:
    打印(“检索页面失败。状态代码：”， 回复['状态代码'])

在提供的代码片段中，我们通过将获取的 HTML 内容存储在 HTML 文件中来保护它。此操作对于确认成功获取目标 HTML 数据至关重要。然后，我们可以查看该文件以检查爬网 HTML 中包含的特定内容。

输出.html 预览：

正如您在上面所看到的，爬网的 HTML 中不存在任何有用的信息。这是因为 Amazon 使用 JavaScript 和 Ajax 动态加载其重要内容。

处理动态内容

与许多当代网站非常相似，Amazon 的搜索页面通过 JavaScript 渲染和 Ajax 调用采用动态内容加载。当尝试从这些页面抓取数据时，这种动态行为可能会带来挑战。尽管如此，借助 Crawlbase 爬行 API，这些挑战都可以得到有效解决。我们可以利用 Crawling API 提供的以下查询参数来解决这个问题。

合并参数

将 JavaScript 令牌与 Crawlbase API 结合使用时，您可以定义特定参数，以确保准确捕获动态呈现的内容。几个关键参数包括：

页面等待：此参数虽然是可选的，但允许您指定浏览器捕获生成的 HTML 代码之前等待的持续时间（以毫秒为单位）。在页面需要额外时间进行渲染或 AJAX 请求必须在 HTML 捕获之前完全加载的情况下部署此参数。
ajax_等待：另一个为 JavaScript 令牌量身定制的可选参数。它使您能够指示脚本是否应在接收 HTML 响应之前等待 AJAX 请求完成。当内容依赖于 AJAX 请求的执行时，这被证明是无价的。

为了在我们的示例中使用这些参数，我们可以像这样更新我们的代码：

止 爬行基地 进口 抓取API

# 使用您的 Crawlbase 令牌初始化 Crawling API
api = 爬行API({ '令牌': 'YOU_CRAWLBASE_JS_TOKEN' })

# 您想要抓取的亚马逊搜索页面的 URL
亚马逊搜索网址= 'https://www.amazon.com/s?k=耳机'

# 抓取 API 的选项
选项= {
 '页面等待': 2000,
 'ajax_等待': '真的'
}

# 发出请求以使用选项抓取亚马逊搜索页面
响应 = api.get(amazon_search_url, 选项)

# 检查请求是否成功
if 回复['状态代码'] == 200:
    # 解码字节数据后提取的HTML内容
    html_内容=响应['身体']。解码（'拉丁1')

    # 将 HTML 内容保存到文件中
      打开('输出.html', 'w', 编码='utf-8') as 文件：
      文件.write(html_content)
其他:
    打印(“检索页面失败。状态代码：”， 回复['状态代码'])

Crawling API 提供了许多其他重要参数。您可以阅读有关他们的信息点击此处.

提取广告数据并保存到 SQLite 数据库中

现在我们已经成功获取了亚马逊动态搜索页面的 HTML 内容，是时候从检索到的内容中提取亚马逊 PPC 广告的有价值的数据了。对于该示例，我们将提取广告的标题和价格。

提取这些数据后，谨慎的做法是系统地存储它。为此，我们将采用 SQLite，这是一种与 Python 无缝集成的轻量级高效关系数据库系统。 SQLite 是结构化数据本地存储的绝佳选择，在这种情况下，它非常适合保存抓取的 Amazon PPC 广告数据。

进口 sqlite3
止 bs4 进口 美丽汤
止 爬行基地 进口 抓取API

# 初始化SQLite数据库的函数
DEF 初始化数据库(数据库名称):
    conn = sqlite3.connect(db_name)
    光标 = conn.cursor()

    # 如果表不存在则创建
    游标.执行（'''
        如果不存在则创建表 ppc_ads (
            id 整数主键自动增量，
            价格文本，
            标题文本
        )
    ''')

    # 提交表创建
    conn.commit()

    回报 康涅狄格州, 光标

# 向数据库插入数据的函数
DEF 插入数据(conn、光标、价格文本、标题文本):
    # 将数据插入数据库
    游标.执行（'插入 ppc_ads（价格、标题）值 (?, ?)', (价格_文本, 标题_文本))
    conn.commit()

# 初始化数据库
数据库名称= 'ppc_ads.db'
conn, 光标=initialize_db(db_name)

# 使用您的 Crawlbase 令牌初始化 Crawling API
api = 爬行API({ '令牌': 'YOU_CRAWLBASE_JS_TOKEN' })

# 您想要抓取的亚马逊搜索页面的 URL
亚马逊搜索网址= 'https://www.amazon.com/s?k=耳机'

# 抓取 API 的选项
选项= {
 '页面等待': 2000,
 'ajax_等待': '真的'
}

# 发出请求以使用选项抓取亚马逊搜索页面
响应 = api.get(amazon_search_url, 选项)

# 检查请求是否成功
if 回复['状态代码'] == 200:
    # 解码字节数据后提取的HTML内容
    html_内容=响应['身体']。解码（'拉丁1')
    # 使用 Beautiful Soup 解析 HTML 内容
    汤 = BeautifulSoup(html_content, 'html.parser')

    # 选择 PPC 广告 div 元素
    广告=汤.选择（'.AdHolder div[data-asin]，div[data-asin][data-component-type="s-search-result"].AdHolder')
    # 从每个广告中提取信息并将其插入数据库
      ad in 广告：
        # 提取广告 div 内的价格
        价格 = ad.select_one('span.a-价格 span.a-屏幕外')
        if 价格：
            价格文本 = 价格.文本.strip()
        其他:
            价格文本= “未找到价格”

        # 提取广告 div 内的标题
        标题 = ad.select_one('div.a-section h2 aa-link-normal span，div.a-section aa-link-normal span.a-offscreen')
        if 标题：
            title_text = title.text.strip()
        其他:
            标题文本= “未找到标题”

        # 将数据插入数据库
        insert_data(conn, 光标, 价格文本, 标题文本)
其他:
    打印(“检索页面失败。状态代码：”， 回复['状态代码'])

# 关闭数据库连接
conn.close()

示例输出：

此 Python 脚本演示了抓取亚马逊搜索页面以获取 PPC 广告的过程。首先初始化 SQLite 数据库，创建一个表来存储抓取的数据，包括广告 ID、价格和标题。这 insert_data 定义函数将提取的数据插入到该数据库中。然后，该脚本设置用于网络爬行的 Crawlbase API，指定页面选项和 AJAX 等待时间以有效处理动态加载的内容。

使用 Crawlbase API 成功检索 Amazon 搜索页面后，该脚本利用 BeautifulSoup 解析 HTML 内容。它专门针对页面上的 PPC 广告元素。对于每个广告元素，脚本都会提取价格和标题信息。它会验证这些详细信息是否存在并清理它们，然后使用以下命令将它们插入到 SQLite 数据库中： insert_data 功能。该脚本通过正确关闭数据库连接来结束。本质上，这个脚本展示了完整的过程网络抓取，数据提取，以及云存储，对于各种数据分析和使用场景至关重要。

6. 最后的话

所以这是抓取亚马逊赞助广告，如果您对此类更多指南感兴趣，请查看以下链接：

📜 如何抓取亚马逊评论
📜 如何抓取亚马逊搜索页面
📜 如何抓取亚马逊产品数据

如需更多帮助和支持，请查看以下指南抓取亚马逊ASIN, Node 中的亚马逊评论, 亚马逊图片及 Ruby 中的亚马逊数据.

我们在其他电子商务网站上编写了一些指南，例如从沃尔玛, 易趣及全球速卖通。以防万一你刮掉它们;)。

请随时与我们联系点击此处如有疑问和疑问。

7。经常问的问题

问：什么是亚马逊 PPC 广告？

亚马逊PPC广告允许卖家和广告商在亚马逊平台上推广他们的产品。这些广告显示在亚马逊的搜索结果和产品详细信息页面中，帮助产品获得更高的可见度。仅当用户点击广告时，广告商才需要付费。这是一种吸引积极寻找产品的潜在客户的经济高效的方式。

问：为什么抓取 Amazon PPC 广告数据很重要？

抓取亚马逊数据有助于利用数据驱动的见解来提高 PPC 活动的绩效、提高可见性并最大限度地提高投资回报率。首先，它使企业能够深入了解竞争对手的广告策略，例如关键词、广告文案和出价技术。其次，它允许广告商通过分析效果指标来优化自己的广告活动。此外，抓取可以发现有价值的关键字，以改善有机列表。此外，它还可以让企业了解亚马逊广告系统的变化，并提供更广泛的市场洞察，帮助他们在动态的电子商务领域保持领先地位。

问：什么是 Crawlbase 爬网 API？

Crawlbase 爬取 API 是一种复杂的网络抓取工具，可简化从网站大规模提取数据的过程。它为开发人员和企业提供了一种从网页收集信息的自动化且用户友好的方法。其值得注意的功能之一是自动 IP轮换，它通过动态更改每个请求的 IP 地址来增强数据提取，从而降低 IP 阻塞或限制的风险。用户可以向 API 发送请求，指定要抓取的 URL 以及查询参数，作为回报，他们会收到 HTML 或 JSON 等结构化格式的抓取数据。对于那些寻求高效、不间断地从网站收集数据的人来说，这种多功能工具非常宝贵。

问：如何开始使用 Crawlbase 和 Python 进行网页抓取？

要开始使用 Crawlbase 和 Python 进行网页抓取，请按照以下步骤操作：

确保您的系统上安装了 Python。
选择代码编辑器或集成开发环境 (IDE) 来编写 Python 代码。
使用 pip 安装必要的库，例如 BeautifulSoap4 和 Crawlbase 库。
创建 Crawlbase 帐户以获取 API 令牌。
设置 Crawlbase Python 库并使用您的令牌初始化 Crawling API。
向 Crawlbase 爬网 API 发出请求以从网站抓取数据，并指定 URL 和任何查询参数。
保存抓取的数据并根据您的特定用例的需要进行分析。