Python网络爬取简介

网络爬取是一个从网络中爬取信息的自动过程。本章将让你深入了解网络爬取，它与网络爬行的比较，以及为什么你应该选择网络爬取。你还将了解到网络爬虫器的组成部分和工作原理。

什么是网络爬取

字典上的 “Scrapping “的意思是指从网络上获得一些东西。这里出现了两个问题。我们能从网上得到什么，以及如何得到这些东西。

第一个问题的答案是 “数据 “。数据对任何程序员来说都是不可或缺的，每个编程项目的基本要求是大量的有用数据。

第二个问题的答案有点棘手，因为有很多方法可以获得数据。一般来说，我们可以从数据库或数据文件和其他来源获得数据。但是，如果我们需要大量的在线数据，怎么办？获得这类数据的一种方法是手动搜索（在网络浏览器中点击离开）并保存（复制粘贴到电子表格或文件中）所需的数据。这种方法相当繁琐和耗时。另一种获得此类数据的方法是使用 网络爬虫。

网络爬虫 ，也被称为 网络数据挖掘 或 网络收获 ，是构建一个能够自动从网络上爬取、解析、下载和组织有用信息的代理过程。换句话说，我们可以说，网络爬虫软件会根据我们的要求自动从多个网站加载和爬取数据，而不是手动保存网站的数据。

网络爬取的起源

网络爬取的起源是屏幕爬取，它被用来整合非基于网络的应用程序或本地Windows应用程序。最初，在万维网（WWW）广泛使用之前，屏幕爬取被使用，但它不能扩大WWW的规模。这使得有必要将屏幕爬取的方法自动化，于是就有了 “网络爬取 “的技术。

网络爬行与网络爬虫

Web Crawling和爬取这两个术语经常被交替使用，因为它们的基本概念是爬取数据。然而，它们是相互不同的。我们可以从它们的定义中了解其基本区别。

网络爬行基本上是使用机器人（又称爬虫）来索引页面上的信息。它也被称为 索引。 另一方面，网络爬取是一种使用机器人（又称爬虫）爬取信息的自动方式。它也被称为 数据爬取。

为了理解这两个术语之间的区别，让我们看看下面给出的对比表。

网络爬取的用途

使用网络爬虫的用途和原因就像万维网的用途一样无穷无尽。网络爬虫器可以做任何事情，如在线订购食品，为你扫描在线购物网站，在比赛开始时购买门票等，就像人可以做的那样。这里讨论了网络搜刮的一些重要用途

• 电子商务网站 – 网络爬虫器可以从各种电子商务网站收集与特定产品的价格有关的数据，以便进行比较。

• 内容聚合器 – 网络爬虫被内容聚合器广泛使用，如新闻聚合器和工作聚合器，以向其用户提供最新的数据。

• 营销和销售活动 – 网络爬虫可用于获取销售和营销活动的数据，如电子邮件、电话号码等。

• 搜索引擎 优化（SEO） – 网络爬虫被SEMRush、Majestic等SEO工具广泛使用，以告诉企业他们在与之相关的搜索关键词上的排名情况。

• 机器学习项目的数据 – 机器学习项目的数据检索取决于网络爬虫。

研究数据 --研究人员可以通过这种自动化程序节省时间，为他们的研究工作收集有用的数据。

网络爬虫的组成部分

一个网络爬虫由以下部分组成

网络爬虫模块

网络爬虫的一个非常必要的组件，即网络爬虫模块，用于通过对URLs进行HTTP或HTTPS请求来浏览目标网站。爬虫下载非结构化数据（HTML内容）并将其传递给下一个模块–爬取器。

爬取器

爬取器处理获取的HTML内容，并将数据爬取为半结构化的格式。这也被称为解析器模块，使用不同的解析技术，如正则表达式、HTML解析、DOM解析或人工智能来实现其功能。

数据转换和清理模块

上面爬取的数据不适合直接使用。它必须通过一些清洗模块，这样我们才能使用它。像字符串处理或正则表达式这样的方法可以用于这一目的。请注意，爬取和转换也可以在一个步骤中进行。

存储模块

在爬取数据后，我们需要按照我们的要求来存储它。存储模块将以标准格式输出数据，可以存储在数据库或JSON或CSV格式。

网络爬虫的工作

网络刮刀可以被定义为一个软件或脚本，用于下载多个网页的内容并从中爬取数据。

如上图所示，我们可以通过简单的步骤了解网络爬虫的工作。

第1步：从网页上下载内容

在这一步骤中，网络刮刀将从多个网页上下载所要求的内容。

第2步：爬取数据

网站上的数据是HTML，而且大多是非结构化的。因此，在这一步，网络刮刀将从下载的内容中解析和爬取结构化数据。

第3步：存储数据

在这里，网络刮刀将以CSV、JSON或数据库等任何一种格式存储和保存爬取的数据。

第4步：分析数据

在所有这些步骤成功完成后，网络爬虫将分析由此获得的数据。