A 网络爬虫 （或网络蜘蛛）编程脚本以有组织的、编程的方式在网上冲浪。 它可以用于缓存最近访问过的网页以便下次加载更快，或者由搜索引擎机器人用来了解网页上有什么可以在用户搜索时检索。 搜索引擎通过几乎一直在运行的机器人应用搜索功能，提供相关链接以响应用户搜索的问题，生成网页列表，在用户将查询输入谷歌、必应、雅虎等搜索引擎后出现， ETC。
网络蜘蛛机器人就像一个人去一个杂乱无章的图书馆，把所有的书都翻阅一遍，然后编制一张卡片清单，以便其他人可以迅速提取相关信息。 要做到这一点并对图书馆中的所有书籍进行分类，该人将阅读标题、摘要和一些内部背景以了解书籍。
然而，网络爬虫的工作方式类似，但方式更复杂。 该机器人将从特定网页开始，然后是从这些页面到其他页面的超链接，然后是从其他页面到其他页面的超链接。
仍然不知道有多少搜索引擎机器人抓取公开可用的数据。 同时，一些消息来源估计它高达 70% 的互联网被索引，由于每天发布 1.2 万种内容，总页面数达到数十亿。
搜索索引是如何完成的？
索引类似于数据库以有组织的方式存储某些内容的方式。 搜索索引已完成，以便在进行查询时通过哪个关键字可以找到互联网上的哪些内容的数据库记录。
索引关注页面上的文本及其元数据（提供有关其他数据的信息）。 每当用户搜索某些单词时，搜索引擎都会遍历它们出现的索引并显示最相关的单词。 大多数搜索引擎通过将页面上的所有单词添加到索引中来索引页面，这与谷歌不同，它不会索引诸如“a”、“an”和“the”之类的单词，因为它们很常见。
网络爬虫如何运作？
互联网在不断发展。 不可能知道万维网上有多少页面。 网络爬虫首先从种子或已知 URL 列表开始。 他们会找到指向其他 URL 的超链接，并将这些超链接添加到接下来要抓取的页面列表中，因为他们会抓取这些网页。
一个网页被许多其他网页引用并吸引了很多访问者，表明它包含权威、高质量的内容，因此搜索引擎需要对其进行索引。
随着互联网上的页面数量，搜索索引过程几乎可以无休止地进行。 网络爬虫会观察某些做法，这些做法使其对爬取哪些页面以及检查内容更新的顺序和频率更具选择性，以免无限期地爬取。
网络爬虫检查 robots.txt 协议（机器人排除协议）来决定要爬取哪些页面。 robots.txt 文件由页面的 Web 服务器托管。 它是一个文本文件，用于指定任何机器人访问托管网站或机器人可以抓取的页面应用程序的规则，以及它们可以遵循哪些链接。
这些成分在每个搜索引擎构建到其蜘蛛机器人中的专有算法中具有独特的权重。 来自不同搜索引擎的蜘蛛机器人的行为会略有不同。 但是，最终目标是从网页下载和索引内容。
网络爬虫也被称为 蜘蛛 当他们爬行万维网时，大多数用户访问它就像真正的蜘蛛在蜘蛛网上一样。
网络爬虫如何影响 SEO？
搜索引擎优化 （或搜索引擎优化) 是一种为搜索索引准备内容的技术。 SEO 使网站在搜索引擎结果中的出现率更高。
这意味着如果蜘蛛不抓取网站并且不会出现在搜索结果中，则该网站无法被索引。 出于这个原因，网站所有者不会阻止网络爬虫机器人，因为他们希望从搜索结果中获得自然流量。
网络爬虫机器人是否应该永远被允许获取网络资产？
网络爬虫需要服务器资源来索引内容——它们发出服务器需要响应的请求，类似于用户浏览网站或其他机器人访问网站。 根据每个页面上的内容量或网站上的页面数量，网站所有者最关心的是不要让搜索索引过于频繁，因为过多的索引可能会使服务器超载，增加带宽成本，或两者兼而有之. 总而言之，这取决于网络资产，并取决于几个因素。
此外，开发人员或公司可能不希望某些网页可以访问，除非用户已经获得了该页面的链接（无需将该页面置于付费专区或登录之后）。 企业案例的一个示例是为营销活动创建专用登录页面。 尽管如此，他们仍不希望没有被该活动定位的任何人访问该页面。 通过这种方式，他们可以自定义消息传递或精确测量页面的性能。 在这种情况下，企业可以在着陆页上添加“无索引”标签，它不会出现在搜索引擎结果中。 他们还可以在页面或 robots.txt 文件中添加“禁止”标签，搜索引擎蜘蛛根本不会抓取它。
出于多种原因，网站所有者可能不想分开，或者他们的所有网站都被抓取。 例如，为用户提供在站点内搜索的能力的网站可能希望阻止搜索结果页面，因为这些页面对大多数用户没有价值。 此外，应阻止仅对一个用户或少数特定用户有用的其他自动生成的页面。
Web 抓取、内容抓取或数据抓取是指机器人在未经许可的情况下下载网站上的内容，通常打算将其用于恶意目的。
Web 抓取通常比 Web 抓取更具针对性，因为 Web 抓取器可能在特定页面或网站之后。 相比之下，网络爬虫将不断跟踪链接和爬取页面。
也， 刮板机 机器人可能会无视它们对网络服务器造成的压力，而网络爬虫，尤其是来自主要搜索引擎的网络爬虫，将遵守 robots.txt 文件并将它们的请求限制在不使服务器超载的情况下。
互联网上最活跃的网络爬虫是什么？
来自最活跃的主要搜索引擎的机器人被称为：
- 谷歌： Googlebot（实际上是两个爬虫，Googlebot Desktop 和 Googlebot Mobile，用于桌面和移动搜索）
- 兵 （微软的搜索引擎）：Bingbot
- Yandex的 （俄罗斯搜索引擎）：Yandex Bot
- 百度 （中文搜索引擎）：百度蜘蛛
还有许多不常见的网络蜘蛛，其中一些不隶属于任何搜索引擎。
为什么爬虫程序管理必须将网络爬虫记录在案？
从糟糕的用户体验到服务器崩溃再到数据盗窃，一些糟糕的机器人可能会造成很大的损害。 然而，在阻止这些机器人时，有必要允许像网络爬虫这样的好的机器人访问网络属性。 Crawlbase（以前的 ProxyCrawl） 除了调节恶意机器人流量外，还允许好的机器人继续访问网站。
Crawlbase（以前的 ProxyCrawl） 是现代组织的理想网络爬虫和抓取服务。 通过提供多种选择，我们简单易用的应用程序将使您能够立即开始工作，而无需担心代理、代理速度、IP 数量、带宽、位置、住宅或数据中心。 我们的 API 专为抓取、抓取、代理、抓取存储、对图像等网站进行屏幕截图以及访问数以百万计的公司电子邮件和数据供您使用而设计。
