极客教程Scrapy – 网络服务
Scrapy – 网络服务 描述 一个正在运行的Scrapy网络爬虫可以通过 JSON-RPC 来控制 。 它由JSONRPC_ENABLED设置启用。该服务通过JSON-RPC 2.0 协议提供对主爬虫对象的访问。访问爬虫对象...
Scrapy
Scrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。
Scrapy – Telnet 控制台
Scrapy – Telnet 控制台 描述 Telnet控制台是一个在Scrapy进程中运行的Python外壳，用于检查和控制Scrapy运行的进程。 访问Telnet控制台 可以用以下命令访问Telnet控制台 telnet...
Scrapy – 发送电子邮件
Scrapy – 发送电子邮件 描述 Scrapy可以使用它自己的设施，即Twisted非阻塞IO 来发送电子邮件，这与爬虫的非阻塞IO无关。你可以配置发送电子邮件的一些设置，并为发送附件提供简单的API。 有两种方法来实例化M...
Scrapy – 统计资料收集
Scrapy – 统计资料收集 描述 统计资料收集器是Scrapy提供的一种设施，用于收集以键/值形式存在的统计资料，它是通过Crawler API访问的（Crawler提供对所有Scrapy核心组件的访问）。统计收集器为每个蜘...
Scrapy – 日志
Scrapy – 日志 描述 日志 是指对事件的跟踪，它使用内置的日志系统并定义函数和类来实现应用程序和库。日志是一个现成的材料，它可以与Logging settings中列出的Scrapy设置一起工作。 Scrapy会设置一些...
Scrapy – 搜集的数据
Scrapy – 搜集的数据 描述 存储搜刮数据的最佳方式是使用Feed导出，这可以确保数据使用多种序列化格式被正确存储。JSON、JSON线、CSV、XML是序列化格式中容易支持的格式。可以用以下命令来存储这些数据 − scr...
Scrapy – 跟踪链接
Scrapy – 跟踪链接 描述 在本章中，我们将学习如何提取我们感兴趣的页面的链接，跟踪它们并从该页面提取数据。为此，我们需要对之前的代码 做如下修改，如下图所示 import scrapy from tutorial.ite...
Scrapy – 使用一个项目
Scrapy – 使用一个项目 描述 Item 对象是 Python 的常规 dicts。我们可以使用以下语法来访问类的属性− >>> item = DmozItem() >>> item['...
Scrapy – 提取项目
Scrapy – 提取项目 描述 为了从网页中提取数据，Scrapy使用了一种技术，叫做基于XPath 和CSS 表达式的选择器。下面是一些XPath表达式的例子 – /html/head/title –...
Scrapy – 爬行
Scrapy – 爬行 说明 要执行你的蜘蛛，请在你的 first_scrapy 目录下运行以下命令 – scrapy crawl first 其中， 首先 是创建蜘蛛时指定的蜘蛛名称。 一旦蜘蛛爬行，你可以看到以下...
Scrapy- 第一只蜘蛛
Scrapy- 第一只蜘蛛 描述 Spider是一个定义初始URL以提取数据的类，如何跟踪分页链接以及如何提取和解析 items.py 中定义的字段 。 Scrapy提供了不同类型的蜘蛛，每个蜘蛛都有一个特定的目的。 在first_scra...
Scrapy – 定义一个项目
Scrapy – 定义一个项目 描述 项目是用来收集从网站上报废的数据的容器。你必须通过定义你的项目来开始你的spider。要定义项目，请编辑目录 first_scrapy （自定义目录）下的 items.py 文件。 item...
Scrapy – 创建一个项目
Scrapy – 创建一个项目 描述 要从网页中提取数据，首先需要创建一个Scrapy项目，将代码存放在其中。要创建一个新的目录，请运行以下命令 scrapy startproject first_scrapy 上述代码将创建一...
Scrapy – 异常情况
Scrapy – 异常情况 描述 不规则事件被称为异常。在Scrapy中，异常是由于一些原因引起的，如配置丢失、从项目管道中删除项目等。以下是Scrapy中提到的异常列表和它们的应用。 DropItem 项目管道利用这个异常，在...
Scrapy – 其他设置
Scrapy – 其他设置 下表显示了Scrapy的其他设置- Sr.No 设置和描述 1 AJAXCRAWL_ENABLED 它用于启用大型抓取。默认值： 默认值: False 2 AUTOTHROTTLE_DEBUG 启用后...
Scrapy – 设置
Scrapy – 设置 说明 Scrapy组件的行为可以通过Scrapy设置来修改。如果你有多个Scrapy项目，这些设置也可以选择当前正在运行的Scrapy项目。 指定设置 你必须通知Scrapy你在刮削网站时使用哪种设置。为...
Scrapy – 链接提取器
Scrapy – 链接提取器 描述 顾名思义，链接提取器是使用 scrapy.http.Response 对象从网页上提取链接的对象。在Scrapy中，有一些内置的提取器，如 scrapy.linkextractors 导入 L...
Scrapy – 请求和响应
Scrapy – 请求和响应 说明 Scrapy可以使用 请求 和 响应 对象抓取网站。请求对象通过系统，使用蜘蛛来执行请求，并在返回一个响应对象时回到请求。 请求对象 请求对象是一个产生响应的HTTP请求。It has the...
Scrapy – Feed exports
Scrapy – Feed exports 描述 Feed exports是一种存储从网站搜刮来的数据的方法，即生成一个 “导出文件”。 序列化格式 使用多种序列化格式和存储后端，Feed Exports...
Scrapy – 项目管道
Scrapy – 项目管道 描述 Item Pipeline 是一种处理被搜刮项目的方法。当一个项目被发送到Item Pipeline时，它被一个蜘蛛搜刮，并使用几个组件进行处理，这些组件按顺序执行。 每当收到一个项目时，它就会...
Scrapy – Shell
Scrapy – Shell 描述 Scrapy shell可用于以无错误的代码来采集数据，而不需要使用蜘蛛。Scrapy shell的主要目的是测试提取的代码、XPath或CSS表达式。它还有助于指定你要搜刮数据的网页。 配置...
Scrapy – 项目加载器
Scrapy – 项目加载器 描述 项目加载器提供了一种方便的方式来填充从网站上搜刮来的项目。 声明项目加载器 项目加载器的声明就像项目一样。 比如说 — from scrapy.loader import Item...
Scrapy – 使用项目
Scrapy – 使用项目 创建项目 你可以按以下格式创建项目 − >>myproduct = Product(name = 'Mouse', price = 400) >>print myproduct...
Scrapy – 项目
Scrapy – 项目 描述 Scrapy过程可用于从来源中提取数据，如使用蜘蛛的网页。Scrapy使用 Item 类来产生输出，其对象被用来收集刮取的数据。 声明项目 你可以使用类的定义语法和字段对象来声明项目，如下所示 im...
Scrapy – Xpath技巧
Scrapy – Xpath技巧 在一个条件中使用文本节点 当你在XPath字符串函数中使用文本节点时，使用 .(dot) 而不是使用 .//text() ，因为这将产生称为 节点集 的文本元素的集合 。 例如 – ...
Scrapy – 选择器
Scrapy – 选择器 描述 当你搜刮网页时，你需要通过使用称为 选择器 的机制来提取HTML源的某一部分，通过使用XPath或CSS表达式来实现。选择器是建立在 lxml 库之上的，它用Python语言处理XML和HTML。...
Scrapy – Spider
Scrapy – Spider 描述 Spider是一个负责定义如何跟踪网站链接并从页面中提取信息的类。 Scrapy的默认Spider类如下 scrapy.Spider 它是一个Spider，其他的Spider都必须从它那里继...
Scrapy – 命令行工具
Scrapy – 命令行工具 描述 Scrapy命令行工具用于控制Scrapy，它通常被称为 “Scrapy工具”。 它包括各种对象的命令，有一组参数和选项。 配置设置 Scrapy会在 scrapy.c...
Scrapy – 环境搭建
Scrapy – 环境搭建 在本章中，我们将讨论如何安装和设置Scrapy。Scrapy必须与Python一起安装。 Scrapy可以通过使用 pip . 要安装，请运行以下命令− pip install Scrapy 窗口 注...
Scrapy – 概述
Scrapy – 概述 Scrapy是一个用Python编写的快速、开源的网络抓取框架，用于在基于XPath的选择器的帮助下从网页上提取数据。 Scrapy于2008年6月26日首次发布，采用BSD授权，2015年6月发布了里程...