Python网络爬取简介

网络爬取是一个从网络中爬取信息的自动过程。本章将让你深入了解网络爬取，它与网络爬行的比较，以及为什么你应该选择网络爬取。你还将了解到网络爬虫器的组成部分和工作原理。

什么是网络爬取

字典上的 “Scrapping “的意思是指从网络上获得一些东西。这里出现了两个问题。我们能从网上得到什么，以及如何得到这些东西。

第一个问题的答案是 “数据 “。数据对任何程序员来说都是不可或缺的，每个编程项目的基本要求是大量的有用数据。

第二个问题的答案有点棘手，因为有很多方法可以获得数据。一般来说，我们可以从数据库或数据文件和其他来源获得数据。但是，如果我们需要大量的在线数据，怎么办？获得这类数据的一种方法是手动搜索（在网络浏览器中点击离开）并保存（复制粘贴到电子表格或文件中）所需的数据。这种方法相当繁琐和耗时。另一种获得此类数据的方法是使用 网络爬虫。

网络爬虫 ，也被称为 网络数据挖掘 或 网络收获 ，是构建一个能够自动从网络上爬取、解析、下载和组织有用信息的代理过程。换句话说，我们可以说，网络爬虫软件会根据我们的要求自动从多个网站加载和爬取数据，而不是手动保存网站的数据。

网络爬取的起源

网络爬取的起源是屏幕爬取，它被用来整合非基于网络的应用程序或本地Windows应用程序。最初，在万维网（WWW）广泛使用之前，屏幕爬取被使用，但它不能扩大WWW的规模。这使得有必要将屏幕爬取的方法自动化，于是就有了 “网络爬取 “的技术。

网络爬行与网络爬虫

Web Crawling和爬取这两个术语经常被交替使用，因为它们的基本概念是爬取数据。然而，它们是相互不同的。我们可以从它们的定义中了解其基本区别。

网络爬行基本上是使用机器人（又称爬虫）来索引页面上的信息。它也被称为 索引。 另一方面，网络爬取是一种使用机器人（又称爬虫）爬取信息的自动方式。它也被称为 数据爬取。

为了理解这两个术语之间的区别，让我们看看下面给出的对比表。

网络爬取	网络爬取
指下载和存储大量网站的内容。	指通过使用网站特定的结构从网站中爬取个别数据元素。
大多是在大范围内进行。	可以在任何规模下实现。
产生通用信息。	产生具体信息。
被主要的搜索引擎如谷歌、必应、雅虎使用。谷歌机器人是网络爬虫的一个例子。	使用网络爬取所爬取的信息可以用来在其他网站上复制，也可以用来进行数据分析。例如，数据元素可以是姓名、地址、价格等。