Scrapy – Telnet 控制台

Scrapy – Telnet 控制台

描述

Telnet控制台是一个在Scrapy进程中运行的Python外壳,用于检查和控制Scrapy运行的进程。

访问Telnet控制台

可以用以下命令访问Telnet控制台

telnet localhost 6023

基本上,telnet控制台被列在TCP端口中,这在 TELNETCONSOLE_PORT 设置中有所描述。

变量

下表中给出的一些默认变量是作为快捷方式使用的。

序号 快捷方式和描述
1 crawler 这是指Scrapy Crawler(scrapy.crawler.Crawler)对象。
2 engine 这指的是Crawler.engine属性。
3 spider 这指的是处于活动状态的蜘蛛。
4 slot 这指的是引擎槽。
5 extensions 这是指扩展管理器(Crawler.extensions)属性。
6 stats 这指的是Stats Collector(Crawler.stats)属性。
7 setting 这指的是Scrapy设置对象(Crawler.settings)属性。
8 est 这是指打印引擎状态报告。
9 prefs 指的是用于调试的内存。
10 p 这指的是pprint.pprint 函数的快捷方式。
11 hpy 这指的是内存调试。

例子

下面是一些使用Telnet控制台的例子。

暂停、恢复和停止Scrapy引擎

要暂停Scrapy引擎,请使用以下命令

telnet localhost 6023
>>> engine.pause()
>>>

要恢复Scrapy引擎,请使用下面的命令 –

telnet localhost 6023
>>> engine.unpause()
>>>

要停止Scrapy引擎,请使用下面的命令 –

telnet localhost 6023
>>> engine.stop()
Connection closed by foreign host.

查看引擎状态

Telnet控制台使用 est() 方法来检查Scrapy引擎的状态,如下代码所示

telnet localhost 6023
>>> est()
Execution engine status

time()-engine.start_time                        : 8.62972998619
engine.has_capacity()                           : False
len(engine.downloader.active)                   : 16
engine.scraper.is_idle()                        : False
engine.spider.name                              : followall
engine.spider_is_idle(engine.spider)            : False
engine.slot.closing                             : False
len(engine.slot.inprogress)                     : 16
len(engine.slot.scheduler.dqs or [])            : 0
len(engine.slot.scheduler.mqs)                  : 92
len(engine.scraper.slot.queue)                  : 0
len(engine.scraper.slot.active)                 : 0
engine.scraper.slot.active_size                 : 0
engine.scraper.slot.itemproc_size               : 0
engine.scraper.slot.needs_backout()             : False

Telnet 控制台信号

你可以使用telnet控制台信号来添加、更新或删除telnet本地命名空间中的变量。为了执行这个动作,你需要在你的处理程序中添加telnet_vars dict。

scrapy.extensions.telnet.update_telnet_vars(telnet_vars)

参数-

telnet_vars (dict)

其中,dict是一个包含telnet变量的字典。

Telnet设置

下表显示了控制Telnet控制台行为的设置。

序号 设置和描述 默认值
1 TELNETCONSOLE_PORT 这指的是Telnet控制台的端口范围。如果它被设置为无,那么该端口将被动态分配。 [6023, 6073]
2 TELNETCONSOLE_HOST 这指的是远程登录控制台应该收听的接口。 ‘127.0.0.1’

Python教程

Java教程

Web教程

数据库教程

图形图像教程

大数据教程

开发工具教程

计算机教程