掌握电子商务网站抓取：分步 JavaScript 指南

在我们日益以数据为中心的世界中，访问实时信息的能力不仅具有优势，而且还具有优势。这通常是必需的。对于寻求保持领先地位的企业和研究人员来说尤其如此。幸运的是，电子商务网站提供了丰富的数据源，提供了名副其实的产品详细信息、定价动态和有价值的市场洞察的宝库。然而，我们转向网络爬行来有效地利用这些巨大的信息财富。

这本综合指南是您掌握使用 JavaScript 与多功能工具相结合的电子商务网站网络爬行艺术的路线图。 Crawlbase Crawling API随着我们深入研究网络爬虫的复杂性，您将发现如何从这些动态的在线市场中导航并提取有价值的数据。为了说明我们的方法，我们将使用 Daraz.pk，这是一个知名且广泛使用的电子商务平台，作为我们的主要例子。

通过以下部分，您将深入了解网络爬虫的基础知识以及构建自己的网络爬虫的实用见解。在本指南结束时，您将能够有效地访问和分析电子商务数据，使您能够做出明智的业务决策并推动您的研究向前发展。因此，让我们踏上网络爬行世界的旅程，解锁电子商务网站所提供的丰富信息。

新会员入门指南

在我们深入技术细节之前，了解电子商务网站的概念并阐明它们在数字时代的重要性非常重要。通过探索网络爬行在电子商务中的作用，读者将了解数据提取、组织和利用如何对于在在线市场中获得竞争优势至关重要。

什么是电子商务网站？

电子商务网站是电子商务网站的简称，是一种通过互联网买卖产品或服务的在线平台。这些网站的形式和规模各不相同，从小型独立精品店到大型跨国公司。它们的统一之处在于其运营的数字化本质，允许客户通过网络的力量浏览产品、购买并安排送货。

网络的作用 Crawling 在电子商务中

网络爬虫在电子商务生态系统中发挥着关键作用，充当驱动实时产品信息和市场数据可用性的无声引擎。它的工作原理如下：网络爬虫，也称为网络蜘蛛或机器人，是系统地导航网站、收集数据的自动化脚本。这些数据可以包含产品详细信息、定价信息、客户评论等。

对于电子商务企业来说，网络爬虫是必不可少的。通过监控其产品和竞争对手的价格，网络爬虫可以帮助他们保持竞争力。这种数据驱动的方法允许制定动态定价策略，确保产品实时具有竞争力。此外，网络爬虫有助于库存管理，确保产品有库存，并在客户想要购买时可供使用。在许多情况下，电子商务业务依靠先进的系统，例如 3pl库存管理工具，管理库存并简化跨多个平台的订单履行

研究人员和分析师还依靠网络爬行进行市场研究和趋势分析。通过汇总来自各个电子商务网站的数据，他们深入了解消费者行为、市场波动和特定产品的受欢迎程度。这些信息对于做出明智的业务决策、预测市场趋势以及在竞争中保持领先地位非常宝贵。

入门 Crawlbase Crawling API

既然我们已经明确了网络爬虫在电商中的重要性，现在是时候深入研究那些能够有效爬取电商网站的工具和技术了。在本节中，我们将向您介绍 Crawlbase Crawling API阐明利用其力量的好处，并探索 Crawlbase NodeJS 库，它将成为我们这次网络爬取之旅的可靠伙伴。

新品发布 Crawlbase Crawling API

此 Crawlbase Crawling API 是一款功能强大、开发人员友好的解决方案，可简化网络爬取和抓取任务。它提供了广泛的特性和功能，是从亚马逊、eBay、Daraz.pk、阿里巴巴等电子商务网站提取数据的理想选择。

其核心是 Crawlbase Crawling API 使您能够向目标网站发送 HTTP 请求、检索 HTML 内容并以编程方式浏览网页。这意味着您可以访问网站的底层数据，而无需手动浏览、复制和粘贴。相反，您可以自动化该过程，从而节省时间和精力。您可以在 Crawlbase Crawling API 文件记录.

使用的好处 Crawlbase Crawling API

为什么选择 Crawlbase Crawling API 开始网络爬取之旅时，您需要了解哪些信息？以下是一些令人信服的理由：

数据准确性和一致性： 此 Crawlbase Crawling API 确保您收集的数据准确且一致。与容易出错和不一致的手动数据输入不同，API 直接从源获取数据，从而降低了出现不准确的可能性。
可扩展性： 无论您需要抓取少量页面还是数千个页面， Crawlbase Crawling API 专为满足您的需求而打造。它具有高度可扩展性，适合各种规模的项目。
实时数据： 在快节奏的电子商务世界中，访问实时数据可以发挥重要作用。 API 提供最新信息，让您在竞争中保持领先地位。
代理管理： 在处理网站的反抓取防御措施（例如 IP 阻止）时， Crawlbase 提供高效的代理管理系统，并支持 IP 轮换。此功能有助于规避 IP 封禁，确保您能够持续可靠地访问所需数据。
方便： 此 Crawlbase API 让您无需创建和管理自定义抓取工具或爬虫程序，从而带来轻松便捷的体验。它作为基于云的解决方案无缝运行，处理所有复杂的技术问题，让您专注于提取有价值的数据。
成本效益： 建立并维护内部网页抓取解决方案可能会严重影响你的预算。相反， Crawlbase Crawling API 提供经济合理的替代方案，您只需为您特别需要的服务付费，从而使您的开支与您的独特需求相一致。

Crawlbase NodeJS 库

为了充分利用 Crawlbase Crawling API，你需要一种能够无缝交互的编程语言。这就是 Crawlbase NodeJS 库发挥作用。 NodeJS 是一种流行的运行时环境，用于在 Web 浏览器之外执行 JavaScript 代码，它是构建 Web 爬虫的绝佳选择。

此 Crawlbase NodeJS 库简化了 Crawlbase Crawling API 融入您的网络爬虫项目。它提供各种函数和实用程序，让您轻松发送请求、处理响应和解析数据。无论您是经验丰富的开发人员，还是刚开始学习网络爬虫， Crawlbase NodeJS 库将成为您构建强大而高效的网络爬虫的首选工具。

在以下部分中，我们将引导您设置开发环境，配置 Crawlbase Crawling API并编写您的第一个 JavaScript 爬取脚本。我们将一起探索电子商务领域中网络爬取的无限可能性。

设置您的开发环境

在你开始使用 JavaScript 进行网络爬虫之前 Crawlbase Crawling API，准备开发环境至关重要。本节提供简明而详细的指南，帮助您设置无缝电子商务网站抓取所需的工具和库。

安装 NodeJS 和 NPM

NodeJS 和 NPM（节点包管理器）是现代 JavaScript 开发的支柱。它们允许您在 Web 浏览器的范围之外执行 JavaScript 代码并轻松管理依赖项。这是一个简单的安装指南：

NodeJS： 访问 NodeJS 官方网站并下载为您的操作系统量身定制的最新 LTS（长期支持）版本。按照提供的特定于平台的说明执行安装。
新产品管理： NPM 与 NodeJS 捆绑在一起。安装 NodeJS 后，您将自动拥有 NPM 供您使用。

要确认安装成功，请打开终端或命令提示符并运行以下命令：

1 2	节点版本 npm-版本

这些命令将显示已安装的 NodeJS 和 NPM 版本，确保安装顺利。

设置项目目录

首先，使用 mkdir 命令创建一个目录。在本教程中，它被称为电子商务爬网，但您可以将名称替换为您选择的名称之一：

1	MKDIR 电子商务\爬行

接下来，使用 cd 命令切换到新创建的目录：

cd 电商\爬行/

使用 npm 命令将项目目录初始化为 npm 包：

npm初始化-y

该命令创建一个 package.json 文件，其中包含项目的重要元数据。 -y 选项指示 npm 接受所有默认值。

运行命令后，屏幕上将显示以下输出：

写入/home/hassan/Desktop/ecommerce scraping/package.json:

{
  “名称”: “电子商务爬行”,
  “版”: “1.0.0”,
  “说明”: "",
  “主要”: “ index.js”,
  “脚本”: {
    “测试”: “回显\”错误：未指定测试\“ &&退出1”
  },
  “关键词”: [],
  “作者”: "",
  “执照”: “走”
}

安装所需的库

为了熟练地进行网络爬行和 API 交互，请使用 NPM 为您的项目配备以下 JavaScript 库：

# 导航到您的项目目录
cd 你的项目目录

# 安装所需的库
npm 安装cheeriocrawlbasesqlite3csv-writer

以下是这些重要库的简要概述：

干杯： 作为一个敏捷且高性能的库，Cheerio 旨在高效解析 HTML 和 XML 文档。它在轻松地从网页中提取有价值的数据方面发挥着关键作用。
Crawlbase: Crawlbase 简化与 Crawlbase Crawling API，简化网站抓取和数据提取的过程。
SQLite3： SQLite3 是一个独立、无服务器、零配置的 SQL 数据库引擎。它将作为您的存储库，用于存储爬行过程中收集的大量数据。
csv-作者： 它简化了将数据写入 CSV 文件的过程，使您可以轻松创建结构化数据文件以在应用程序中存储或进一步分析。它提供了一个直观的 API，用于使用最少的代码定义标头并将记录写入 CSV 文件。

选择正确的开发 IDE

选择正确的集成开发环境 (IDE) 可以显着提高生产力。虽然您可以在简单的文本编辑器中编写 JavaScript 代码，但使用专用 IDE 可以提供代码完成、调试工具和版本控制集成等功能。

用于 JavaScript 开发的一些流行 IDE 包括：

Visual Studio 代码（VS 代码）： VS Code 是 Microsoft 开发的免费开源代码编辑器。它拥有一个充满活力的社区，为 JavaScript 开发提供了广泛的扩展。
网络风暴： WebStorm 是 JetBrains 的一款商业 IDE，以其智能编码帮助和强大的 JavaScript 支持而闻名。
崇高文字： Sublime Text 是一款轻量级、可自定义的文本编辑器，因其速度和可扩展性而受到开发人员的欢迎。

选择适合您的偏好和工作流程的 IDE。

获取令牌 Crawlbase Crawling API

访问 Crawlbase 爬取 API，你需要一个访问令牌。要获取令牌，你首先需要在 Crawlbase。现在，让我们为您设置一个 Crawlbase 帐户。按着这些次序：

浏览 Crawlbase 官方网站: 打开您的网络浏览器并导航到 Crawlbase 注册页面开始注册过程。
提供您的详细信息： 您将被要求提供您的电子邮件地址并为您的 Crawlbase 账户。填写所需信息。
验证： 提交详细信息后，您可能需要验证您的电子邮件地址。请查看您的收件箱，查找来自 Crawlbase 并按照提供的说明进行操作。
登录： 您的帐户验证通过后，返回 Crawlbase 网站并使用您新创建的凭据登录。
访问您的 API 令牌： 您需要一个 API 令牌才能使用 Crawling API。您可以在此链接上找到您的代币。

Crawlbase 提供两种类型的令牌：用于静态网站页面的普通令牌 (TCP) 和用于动态或 JavaScript 渲染网站页面的 JavaScript 令牌 (JS)。您可以点击此处了解更多信息。

有了 NodeJS、NPM、基本库和 API 令牌，您现在就可以使用 JavaScript 和 Crawlbase Crawling API。在以下部分中，我们将逐步指导您完成该过程。

选择您的目标电子商务网站

为您的爬行项目选择正确的电子商务网站是一个至关重要的决定。在本节中，我们将探讨选择 Daraz.pk 作为目标网站的意义，并深入了解其搜索页面结构。

的重要性 Crawling Daraz.pk 网站

Daraz.pk 是南亚最大的在线市场之一，是我们网络爬行演示的绝佳选择。原因如下：

数据丰富： Daraz.pk 拥有广泛的产品目录，使其成为数据爱好者的信息宝库。从电子产品到时尚，您会发现各种各样的产品可供探索，并提供了抓取电子商务数据的全面示例。
现实世界的相关性： Crawling 像 Daraz.pk 这样的电商巨头提供了一个与现实场景产生共鸣的案例。无论您是想监控竞争对手价格的企业、研究消费者趋势的研究人员，还是想创建比价工具的开发者，从这样的平台获取的数据都是无价的。
不同的页面结构： Daraz.pk 的网站具有多种页面结构，包括产品列表、搜索结果和单个产品页面。这种多样性使我们能够涵盖广泛的网络抓取场景，使其成为学习和实际应用的理想场所。
区域意义： Daraz.pk 在南亚的存在赋予其区域重要性。如果您对区域市场趋势感兴趣，了解该区域特定的产品和定价可能非常有益。

了解 Daraz.pk 网站的搜索页面结构

为了有效地抓取Daraz.pk，必须掌握其搜索页面的结构。这些页面是许多与电子商务相关的查询的起点，使它们成为网络爬行的主要焦点。 Daraz.pk 通常每页显示 40 个结果。

以下是详细的细分：

搜索栏： Daraz.pk 的主页有一个显着的搜索栏，用户可以在其中输入关键字来查找产品。该搜索栏是客户搜索特定商品的入口点，使其成为理解的重要组成部分。
搜索结果： 输入搜索查询后，Daraz.pk 会显示相关产品的列表。每个产品列表通常包括图像、标题、价格和用户评级。了解这些数据的结构对于有效提取数据至关重要。
产品页面： 单击搜索结果中的产品将进入单独的产品页面。这些页面包含有关特定产品的详细信息，包括其描述、规格、客户评论和相关项目。了解这些页面的结构对于更深入的数据提取至关重要。
分页： 鉴于潜在的大量搜索结果，分页在这些页面上很常见。用户可以导航多个结果页面来探索更广泛的产品。处理分页是网络爬行的关键，尤其是在数据可以跨越多个页面的电子商务网站上。
页脚： Daraz.pk 搜索页面的页脚通常包含有用的链接和信息。虽然与搜索结果没有直接关系，但它可以成为提取附加数据或有效浏览网站的宝贵资源。

值得注意的是，Daraz.pk 使用 JavaScript 动态加载搜索结果。为了有效地抓取此类页面，您需要使用 Crawlbase Crawling API 使用 JavaScript 令牌（JS 令牌）。使用 JS 令牌，您可以使用以下查询参数 ajaxWait 以及 pageWait，这对于处理 JavaScript 渲染和 AJAX 加载至关重要。您可以阅读更多内容 Crawlbase Crawling API 查询参数。此功能允许您与动态生成的内容进行交互，确保您可以访问网络爬行项目所需的数据。

在处理像 Daraz.pk 这样的现代交互式网站时，了解 JavaScript 渲染和 AJAX 加载的动态至关重要。通过研究搜索页面结构，您将做好充分准备，从 Daraz.pk 中提取有价值的数据，并深入了解电子商务网络抓取。

编写 JavaScript Crawling 脚本

让我们探索如何使用 Crawlbase NodeJS 库。本节将通过代码示例详细介绍每个步骤。

导入必需的 NodeJS 模块

NodeJS 以其全面的模块生态系统在网络爬行和抓取领域大放异彩。这些模块简化了复杂的任务，使从网页中提取和操作数据变得更加容易。让我们首先导入必要的模块：

// 导入必要的 Node.js 模块
常量 { 抓取API } = 要求('crawlbase'); // 用于发出 HTTP 请求
常量 欢呼= 要求('cheerio'); // 用于解析 HTML
常量 sqlite3= 要求('sqlite3').详细（）; // 用于使用 SQLite 数据库
常量 创建CsvWriter = 要求('csv-writer').创建ObjectCsvWriter; // 用于处理 CSV 文件

配置您的 Crawlbase API令牌

现在，让我们配置你的 Crawling API 令牌。此令牌是使用 Crawlbase 爬取API。

1 2	常量抓取基础ApiToken = 'YOUR_CRAWLBASE_JS_TOKEN'; // 替换为你的实际 Crawlbase API令牌常量接口= 新抓取API({ 象征:crawlbaseApiToken });

通过在此处插入您的唯一 API 令牌，您的脚本可以获得利用 Crawlbase Crawling API 在整个抓取过程中无缝地使用服务。利用 Crawling API 使用 JS 令牌不仅可以为我们提供高效浏览 JavaScript 呈现的网站的基本功能，还可以保证无缝 IP 轮换，从而防止潜在的阻塞问题。

识别重要信息的选择器

在抓取像 Daraz.pk 这样的电子商务网站时，基本步骤之一是识别包含要提取的信息的精确 HTML 元素。在本节中，我们将指导您通过检查网页并选择与 Cheerio 一起使用的正确 CSS 选择器来查找这些元素。

检查网页：

在精确定位选择器之前，您需要检查 Daraz.pk 搜索页面。右键单击您感兴趣的元素（例如产品标题、价格或评级），然后从上下文菜单中选择“检查”。这将打开浏览器的开发人员工具，允许您探索页面的 HTML 结构。

找到相关元素：

在开发人员工具中，您将看到页面的 HTML 结构。首先识别封装要抓取的数据的 HTML 元素。例如，产品标题可能包含在 <h2> 标签，而价格可能在 <span> 具有特定类的元素。

确定 CSS 选择器：

找到相关元素后，就可以创建准确定位它们的 CSS 选择器了。 CSS 选择器是用于根据元素的属性、类或 HTML 结构中的层次结构选择所需元素的模式。

以下是一些常见的 CSS 选择器：

元素选择器： 直接选择 HTML 元素。例如， h2 全选 <h2> 元素。
类别选择器： 按元素的类属性选择元素。例如， .product-title 选择类为“product-title”的所有元素。
ID选择器： 通过 ID 属性选择唯一元素。例如， #product-123 选择 ID 为“product-123”的元素。

测试选择器：

定义选择器后，您可以在浏览器的开发人员控制台中测试它们，以确保它们定位正确的元素。使用 JavaScript 执行选择器并查看它们是否返回预期结果。在以下部分中，我们在撰写此博客时使用了最新的 CSS 选择器，以确保我们演示的准确性和有效性。

Crawling 选定的电子商务网站

在本节中，我们将深入探讨如何使用之前的设置抓取 Daraz 电子商务网站的实际示例。提供的示例演示了如何从 Daraz.pk 获取查询“watches for men”的搜索结果并提取基本产品信息。

// 导入必要的 Node.js 模块
常量 { 抓取API } = 要求('crawlbase');
常量 欢呼= 要求('cheerio');
常量 sqlite3= 要求('sqlite3').详细（）;
常量 创建CsvWriter = 要求('csv-writer').创建ObjectCsvWriter;

// 替换为你的实际 Crawlbase API令牌
常量 抓取基础ApiToken = 'YOUR_CRAWLBASE_JS_TOKEN';
常量 接口= 新 抓取API({ 象征:crawlbaseApiToken });

异步 function 爬行达拉兹(询问）{
  尝试 {
    // 定义在 Daraz.pk 上搜索的 URL
    常量 搜索网址 = `https://www.daraz.pk/catalog/?q=${查询}`;

    // 使用以下方式向搜索 URL 发出 GET 请求 Crawlbase API
    常量 响应 = 等待 蜜蜂。得到（搜索网址，{ 页面等待: 5000 }）;

    // 检查请求是否成功
    if （回复。状态码 === 200）{
      // 使用Cheerio解析页面的HTML内容
      常量 $ = 快乐。加载（回复。身体);

      // 提取并处理搜索结果
      常量 结果=[]；

      // 提取产品数据
      $('div[data-qa-locator="general-products"] div[data-qa-locator="product-item"]').每((索引、元素) => {
        常量 产品={}；

        的产品。产品页面网址 = $(元素).发现('.mainPic--ehOdr a').属性('href');
        的产品。缩略图 = $(元素).发现('.mainPic--ehOdr img').属性('源代码');
        的产品。标题 = $(元素).发现('.info--ifj7U .title--wFj93 a').文本（）;
        的产品。车资 = $(元素).发现('.info--ifj7U .price--NVB62 跨度').文本（）;
        的产品。评论数 = $(元素).发现('.info--ifj7U .rateAndLoc--XWchq . rating__review--ygkUy').文本（）;
        的产品。！ = $(元素).发现('.info--ifj7U .rateAndLoc--XWchq .location--eh0Ro').文本（）;

        结果。推（产品）;
      }）;

      回报 结果;
    } 其他 {
      领事.错误(“检索页面失败。”);
    }
  } 捕捉 （错误） {
    领事.错误(“发生错误：”， 错误）;
  }
}

异步 function 开始爬行(）{
  常量 结果= 等待 爬行达拉兹(“男士手表”);
  领事.日志（结果）;
}

开始爬行（）;

此 crawlDaraz 函数启动爬取过程。它首先根据提供的查询构建 Daraz.pk 搜索的 URL。然后，它利用 Crawlbase API 向此 URL 发送 GET 请求，其中包含 5000 毫秒（5 秒）的页面等待时间，以确保 JavaScript 渲染完成。如果请求成功（HTTP 状态代码 200），脚本将使用“cheerio”解析页面的 HTML 内容。然后，它会使用预定义的选择器遍历 HTML 结构来提取产品信息。提取的数据（包括产品 URL、图片、标题、价格、评论数量和位置）将被组织成对象并添加到数组中。最后，返回此产品数据数组。

代码的第二部分调用启动Crawling 函数，通过调用来启动爬取过程 crawlDaraz 查询“男士手表”。提取的结果将记录到控制台，以便进一步处理或分析。此代码展示了一种网页爬取和抓取的技术实现，该技术能够处理 Daraz.pk 网站上的动态内容加载，其使用 Crawlbase Crawling API.

输出截图：

在抓取像 Daraz.pk 这样的电子商务网站时，由于产品数量较多，经常会遇到搜索结果页面分布在多个页面上的情况。为了确保全面的数据收集，我们需要有效地处理这种分页。

分页通过数字页面链接或“下一页”按钮进行管理。我们的解决方法如下：

确定总页数： 最初，我们获取第一个搜索页面并检查它以确定可用结果页面的总数。这一步对于了解我们需要抓取多少页面至关重要。
遍历页面： 掌握了总页面数后，我们将迭代每个页面，发出获取产品数据的请求。我们通过将页码附加到搜索 URL 来遵循分页结构。例如，从第 1 页到第 N 页，其中 N 是总页数。
提取数据： 我们像在初始页面上一样提取每个页面上的产品数据。这包括产品 URL、图像、标题、价格、评论和位置等详细信息。
汇总结果： 最后，我们将每个页面的结果聚合到一个数据集中。这确保我们从搜索结果的每一页捕获数据，提供全面的数据集进行分析。

让我们更新之前的代码来处理 Daraz.pk 搜索页面上的分页。

// 导入必要的 Node.js 模块
常量 { 抓取API } = 要求('crawlbase');
常量 欢呼= 要求('cheerio');
常量 sqlite3= 要求('sqlite3').详细（）;
常量 创建CsvWriter = 要求('csv-writer').创建ObjectCsvWriter;

// 替换为你的实际 Crawlbase API令牌
常量 抓取基础ApiToken = 'YOUR_CRAWLBASE_JS_TOKEN';
常量 接口= 新 抓取API({ 象征:crawlbaseApiToken });

异步 function 获取总页数(询问）{
  尝试 {
    // 定义在 Daraz.pk 上搜索的 URL
    常量 搜索网址 = `https://www.daraz.pk/catalog/?q=${查询}`;

    // 使用以下方式向搜索 URL 发出 GET 请求 Crawlbase API
    常量 响应 = 等待 蜜蜂。得到（搜索网址，{ 页面等待: 5000 }）;

    // 检查请求是否成功
    if （回复。状态码 === 200）{
      // 使用Cheerio解析页面的HTML内容
      常量 $ = 快乐。加载（回复。身体);

      // 判断总页数
      常量 总页数 = 解析整数（$（'ul.ant-pagination li:nth-last-child(2)').属性('标题'））;
      回报 总页数；
    } 其他 {
      领事.错误(“检索页面失败。”);
      回报 0;
    }
  } 捕捉 （错误） {
    领事.错误(“发生错误：”， 错误）;
    回报 0;
  }
}

异步 function 抓取DarazPage(查询、页面）{
  尝试 {
    // 定义特定页面的 URL
    常量 搜索网址 = `https://www.daraz.pk/catalog/?q=${查询}&页面=${页}`;

    // 使用以下方式向页面 URL 发起 GET 请求 Crawlbase API
    常量 响应 = 等待 蜜蜂。得到（搜索网址，{ 页面等待: 5000 }）;

    // 检查请求是否成功
    if （回复。状态码 === 200）{
      // 使用Cheerio解析页面的HTML内容
      常量 $ = 快乐。加载（回复。身体);

      // 提取并处理本页的搜索结果
      常量 结果=[]；

      // 从该页面提取产品数据
      $('div[data-qa-locator="general-products"] div[data-qa-locator="product-item"]').每((索引、元素) => {
        常量 产品={}；

        的产品。产品页面网址 = $(元素).发现('.mainPic--ehOdr a').属性('href');
        的产品。缩略图 = $(元素).发现('.mainPic--ehOdr img').属性('源代码');
        的产品。标题 = $(元素).发现('.info--ifj7U .title--wFj93 a').文本（）;
        的产品。车资 = $(元素).发现('.info--ifj7U .price--NVB62 跨度').文本（）;
        的产品。评论数 = $(元素).发现('.info--ifj7U .rateAndLoc--XWchq . rating__review--ygkUy').文本（）;
        的产品。！ = $(元素).发现('.info--ifj7U .rateAndLoc--XWchq .location--eh0Ro').文本（）;

        结果。推（产品）;
      }）;

      回报 结果;
    } 其他 {
      领事.错误(`检索页面失败 ${页}.`);
      回报 []；
    }
  } 捕捉 （错误） {
    领事.错误(“发生错误：”， 错误）;
    回报 []；
  }
}

异步 function 开始爬行(）{
  常量 查询 = “男士手表”;
  常量 总页数 = 等待 获取总页数（询问）;

  if (总页数> 0）{
    常量 结果=[]；

    // 抓取所有可用页面
    HPMC胶囊 (让 页 = 1; 页数 <= 总页数； 页++) {
      常量 页面结果= 等待 抓取DarazPage（查询、页面）；
      结果。推(...页面结果);
    }
    // 打印数据集长度
    领事.日志（结果。长度);
  }
}

开始爬行（）;

该代码由两个主要函数组成： getTotalPages 以及 crawlDarazPage.

getTotalPages 获取初始搜索页面，提取可用于给定查询的页面总数，并返回该数字。它使用 Cheerio 解析页面并从分页控件中提取总页数。
crawlDarazPage 负责抓取搜索结果的特定页面。它需要 query 以及 page 作为参数，构造特定页面的 URL，并从该页面提取产品数据。

在 startCrawling 函数，我们使用以下方法确定总页数 getTotalPages。如果有页面要抓取（即 totalPages 大于零），我们初始化一个空的 results 大批。然后我们循环遍历所需的页数（在本例中为前 5 页）并使用 crawlDarazPage 从每个页面获取并提取产品数据。结果累积在 results 数组。

通过以这种方式处理分页，您可以确保您的网络爬虫从 Daraz.pk 或类似网站上的所有可用搜索结果页面全面收集产品数据。这种方法使您的网络抓取工作更加彻底和有效。

高效存储数据

从 Daraz 这样的电子商务网站成功抓取数据后，下一步就是有效地存储这些有价值的信息。正确的数据存储可确保您可以有效地访问和利用抓取的数据用于各种目的。本节将探讨两种存储抓取数据的方法：将其下载为 CSV 文件并集成 SQLite 数据库来保存数据。

将抓取的数据下载为 CSV 文件

CSV（逗号分隔值）是一种广泛使用的存储结构化数据的格式。它易于使用，并且可以通过 Microsoft Excel 和 Google Sheets 等各种电子表格应用程序打开。要将抓取的数据下载为 NodeJS 应用程序中的 CSV 文件，您可以使用类似的库 csv-writer。以下是如何根据我们的示例使用它的示例：

常量 创建CsvWriter = 要求('csv-writer').创建ObjectCsvWriter;

// 创建一个 CSV 写入器
常量 csvWriter = 创建CsvWriter({
  径: 'daraz_products.csv', //指定文件路径
  头[
    { id: '产品页面网址', 标题: '产品页面网址' },
    { id: '缩略图', 标题: '缩略图 URL' },
    { id: '标题', 标题: '标题' },
    { id: '价格', 标题: '价格' },
    { id: “没有评论”, 标题: “评论数量” },
    { id: '地点', 标题: '地点' },
  ],
}）;

// 将数据写入CSV文件
异步 function 保存为CSV(data）{
  等待 csvWriter。写记录（数据）;
}

在此示例中，我们创建了一个 CSV 编写器，其标题与我们抓取的字段相对应：“productPageUrl”、“thumbnailImage”、“title”、“price”、“noOfReviews”和“location”。然后您可以使用 saveToCsv 功能将您的数据保存为 CSV 文件。

集成SQLite数据库来保存数据

SQLite 是一种轻量级、无服务器且独立的 SQL 数据库引擎，非常适合嵌入到应用程序中。它提供了一种存储结构化数据的可靠方法。要将 SQLite 数据库集成到您的网络抓取应用程序中以进行数据存储，您可以使用 sqlite3 图书馆。下面是我们如何根据示例使用它：

常量 sqlite3= 要求('sqlite3').详细（）;

// 打开一个SQLite数据库
常量 分贝= 新 sqlite3。数据库('daraz_products.db'); //指定数据库文件

// 创建一个表来存储数据
D b。连载(() => {
  D b。运行(`
    如果不存在则创建表产品 (
      id 整数主键自动增量，
      产品页面网址文本，
      缩略图图像文本，
      标题文本，
      价格文本，
      没有评论文本，
      位置文本
    )
  `);
}）;

// 将数据保存到数据库的函数
异步 function 保存到数据库(data）{
  HPMC胶囊 (常量 
产品展示 of 数据） {
    D b。运行(
      `
      插入产品（productPageUrl、thumbnailImage、标题、价格、评论数、位置）
      值 (?, ?, ?, ?, ?, ?)
    `,
      [
        的产品。产品页面网址,
        的产品。缩略图,
        的产品。标题,
        的产品。车资,
        的产品。评论数,
        的产品。！,
      ],
      (犯错) => {
        if （呃） {
          领事.错误(“插入数据时出错：”， 呃）;
        }
      },
    );
  }
}

// 关闭数据库连接
D b。关闭（）;

在此示例中，我们首先打开一个 SQLite 数据库并创建一个名为 products 的表来存储抓取的数据。然后我们定义一个函数 saveToDatabase 将数据插入到该表中。插入数据后，记得关闭数据库连接 db.close().

此外，这里有一个示例，说明如何将这些数据存储方法合并到您的网络抓取代码中：

// ...（之前的网页抓取代码包括用于保存抓取数据的新函数）

异步 function 开始爬行(）{
  常量 查询 = “男士手表”;
  常量 总页数 = 等待 获取总页数（询问）;

  if (总页数> 0）{
    常量 结果=[]；

    // 抓取所有可用页面
    HPMC胶囊 (让 页 = 1; 页数 <= 总页数； 页++) {
      常量 页面结果= 等待 抓取DarazPage（查询、页面）；
      结果。推(...页面结果);

      // 将数据保存到CSV文件和SQLite数据库
      等待 保存为CSV（页面结果）；
      等待 保存到数据库（页面结果）；
    }
    // 关闭数据库连接
    D b。关闭（）;
    // 打印数据集长度
    领事.日志（结果。长度);
  }
}

开始爬行（）;

在此更新的代码中， saveToCsv 调用函数将数据保存到 CSV 文件，并且 saveToDatabase 在抓取每个页面后，调用函数将数据存储在 SQLite 数据库中。这可确保您的数据在抓取过程中得到有效保存。

结语

网络爬虫是数字时代的幕后英雄，在蓬勃发展的电子商务世界中发挥着不可或缺的作用。在电子商务世界中，网络爬行就像一个沉默的哨兵，不知疲倦地收集丰富的数据，为这个数字市场提供动力。亚马逊、eBay、Daraz.pk 等电子商务网站彻底改变了我们的购物方式，为我们提供触手可及的大量产品和服务。这些平台的成功部分归功于网络爬行，网络爬行在确保产品信息、价格和趋势保持最新方面发挥着关键作用。

网络爬虫在电子商务中的重要性怎么强调都不为过。它能够帮助企业进行实时价格监控、竞争分析和库存管理。研究人员可以从进行市场研究和洞察消费者行为中获益。借助合适的工具，例如 Crawlbase Crawling API 和 NodeJS，开发人员可以制作强大的网络爬虫来提取有价值的数据并构建创新的解决方案。

在阅读本指南的过程中，我们探讨了选择目标电商网站的重要性，并深入研究了 Daraz.pk 搜索页面的结构。使用由 Crawlbase Crawling API 和数据管理策略，您现在已具备驾驭电子商务领域和发掘其财富的能力。网络爬虫是通往电子商务智能世界的大门，在那里，数据驱动的决策和创新正在等待着您。

常见问题

问：网络爬行和网络抓取有什么区别？

网络爬行 是系统地浏览网站并从多个页面收集数据的过程。它涉及自动脚本，称为网络爬虫或蜘蛛，跟踪链接并索引网页。
另一方面， 网页抓取 就是从网页中提取特定的数据。它通常针对特定元素，例如产品价格、名称或评论。网页抓取通常是一种网页爬行组件，可以从爬行的页面中提取有价值的信息。

问：为什么网络爬行对于 Daraz.pk 等电子商务网站很重要？

网络爬行对于 Daraz.pk 等电子商务网站至关重要，因为它使它们能够监控价格、跟踪产品可用性并收集市场数据。这些信息对于竞争性定价策略、库存管理和趋势分析至关重要。它还可以帮助企业及时了解不断变化的市场状况。

问：如何使用 Crawlbase Crawling API 和 NodeJS？

开始网页爬取 Crawlbase 和 NodeJS，请按照下列步骤操作：

注册一个 Crawlbase 帐户并获取 API 令牌。
使用 NodeJS 和必要的库（例如 Cheerio 和 SQLite3）设置您的开发环境。
编写一个 JavaScript 爬取脚本，使用 Crawlbase Crawling API 获取网页、使用 Cheerio 提取数据并处理分页。
将抓取的数据高效存储为 CSV 文件或 SQLite 数据库。

问：使用 Crawlbase Crawling API?

此 Crawlbase Crawling API 提供了几个优势，包括：

数据准确性和一致性： 它确保数据收集的准确性和一致性。
可扩展性： 它可以处理各种规模的项目，从小型爬行到大规模操作。
实时数据： 它提供对电子商务至关重要的最新信息的访问。
代理管理： 它有效地处理代理和 IP 轮换以规避反抓取防御。
方便： 它消除了构建定制刮刀并处理技术复杂性的需要。
成本效益： 它为内部抓取解决方案提供了一种经济实惠的替代方案，并采用即用即付的定价方式。

掌握电子商务网站抓取：JavaScript 分步指南

目录

新会员入门指南

什么是电子商务网站？

网络的作用 Crawling 在电子商务中

入门 Crawlbase Crawling API

新品发布 Crawlbase Crawling API

使用的好处 Crawlbase Crawling API

Crawlbase NodeJS 库

设置您的开发环境

安装 NodeJS 和 NPM

设置项目目录

安装所需的库

选择正确的开发 IDE

获取令牌 Crawlbase Crawling API

选择您的目标电子商务网站

的重要性 Crawling Daraz.pk 网站

了解 Daraz.pk 网站的搜索页面结构

编写 JavaScript Crawling 脚本

导入必需的 NodeJS 模块

配置您的 Crawlbase API令牌

识别重要信息的选择器

Crawling 选定的电子商务网站

高效存储数据

将抓取的数据下载为 CSV 文件

集成SQLite数据库来保存数据

结语

常见问题

问：网络爬行和网络抓取有什么区别？

问：为什么网络爬行对于 Daraz.pk 等电子商务网站很重要？

问：如何使用 Crawlbase Crawling API 和 NodeJS？

问：使用 Crawlbase Crawling API?

哈桑·雷汉

我们的方案

Crawling API

大多数来自高级网络抓取教程

2026 年最佳 ScraperAPI 替代方案 - 最佳替代品

使用以下方式构建 AI 代理工作流程 Crawlbase Web MCP

抓取 Google 搜索结果的最大挑战及其解决方法

立即开始抓取网页

掌握电子商务网站抓取：JavaScript 分步指南

目录

新会员入门指南

什么是电子商务网站？

网络的作用 Crawling 在电子商务中

入门 Crawlbase Crawling API

新品发布 Crawlbase Crawling API

使用的好处 Crawlbase Crawling API

Crawlbase NodeJS 库

设置您的开发环境

安装 NodeJS 和 NPM

设置项目目录

安装所需的库

选择正确的开发 IDE

获取令牌 Crawlbase Crawling API

选择您的目标电子商务网站

的重要性 Crawling Daraz.pk 网站

了解 Daraz.pk 网站的搜索页面结构

编写 JavaScript Crawling 脚本

导入必需的 NodeJS 模块

配置您的 Crawlbase API令牌

识别重要信息的选择器

Crawling 选定的电子商务网站

Crawling 分页中隐藏的产品

高效存储数据

将抓取的数据下载为 CSV 文件

集成SQLite数据库来保存数据

结语

常见问题

问：网络爬行和网络抓取有什么区别？

问：为什么网络爬行对于 Daraz.pk 等电子商务网站很重要？

问：如何使用 Crawlbase Crawling API 和 NodeJS？

问：使用 Crawlbase Crawling API?

哈桑·雷汉

我们的方案

Crawling API

分享这篇文章

大多数来自高级网络抓取教程

2026 年最佳 ScraperAPI 替代方案 - 最佳替代品

使用以下方式构建 AI 代理工作流程 Crawlbase Web MCP

抓取 Google 搜索结果的最大挑战及其解决方法

立即开始抓取网页