当前位置：极客教程 > Scrapy > Scrapy 基础教程 > Scrapy – 统计资料收集

Scrapy – 统计资料收集

Scrapy – 统计资料收集

描述

统计资料收集器是Scrapy提供的一种设施，用于收集以键/值形式存在的统计资料，它是通过Crawler API访问的（Crawler提供对所有Scrapy核心组件的访问）。统计收集器为每个蜘蛛提供一个统计表，当蜘蛛打开时，统计收集器自动打开，当蜘蛛关闭时，统计收集器自动关闭。

常见统计收集器的使用

下面的代码使用 stats 属性访问统计收集器。

class ExtensionThatAccessStats(object): 
   def __init__(self, stats): 
      self.stats = stats  

   @classmethod 
   def from_crawler(cls, crawler): 
      return cls(crawler.stats)
Python

下表显示了可与统计信息收集器一起使用的各种选项 —

  1. 它是用来设置统计值的。
stats.set_value('hostname', socket.gethostname())
Python
  1. 它增加了统计值。
stats.inc_value('customized_count')
Python
  1. 你可以设置统计值，只有在大于以前的值时才可以。
stats.max_value('max_items_scraped', value)
Python
  1. 你可以设置状态值，只有在低于以前的值时才可以。
stats.min_value('min_free_memory_percent', value)
Python
  1. 它获取了统计值。
stats.get_value('customized_count')
Python
  1. 它获取了所有的统计资料
stats.get_stats() {'custom_count': 1, 'start_time': 
datetime.datetime(2009, 7, 14, 21, 47, 28, 977139)}
Python

可用的统计数据收集器

Scrapy提供了不同类型的统计收集器，可以使用 STATS_CLASS 设置来访问。

MemoryStatsCollector

它是默认的统计收集器，维护每个用于刮削的蜘蛛的统计信息，这些数据将被存储在内存中。

class scrapy.statscollectors.MemoryStatsCollector
Python

虚假统计收集器

这个统计量收集器非常有效，它什么都不做。这可以使用 STATS_CLASS 设置，可以用来禁用统计信息收集，以提高性能。

class scrapy.statscollectors.DummyStatsCollector
Python

Python教程

Python 教程

Python 教程
Tkinter 教程

Tkinter 教程
Pandas 教程

Pandas 教程
NumPy 教程

NumPy 教程
Flask 教程

Flask 教程
Django 教程

Django 教程
PySpark 教程

PySpark 教程
wxPython 教程

wxPython 教程
SymPy 教程

SymPy 教程
Seaborn 教程

Seaborn 教程
SciPy 教程

SciPy 教程
RxPY 教程

RxPY 教程
Pycharm 教程

Pycharm 教程
Pygame 教程

Pygame 教程
PyGTK 教程

PyGTK 教程
PyQt 教程

PyQt 教程
PyQt5 教程

PyQt5 教程
PyTorch 教程

PyTorch 教程
Matplotlib 教程

Matplotlib 教程
Web2py 教程

Web2py 教程
BeautifulSoup 教程

BeautifulSoup 教程

Java教程

Java 教程

Java 教程

Web教程

HTML 教程

HTML 教程
CSS 教程

CSS 教程
CSS3 教程

CSS3 教程
jQuery 教程

jQuery 教程
Ajax 教程

Ajax 教程
AngularJS 教程

AngularJS 教程
TypeScript 教程

TypeScript 教程
WordPress 教程

WordPress 教程
Laravel 教程

Laravel 教程
Next.js 教程

Next.js 教程
PhantomJS 教程

PhantomJS 教程
Three.js 教程

Three.js 教程
Underscore.JS 教程

Underscore.JS 教程
WebGL 教程

WebGL 教程
WebRTC 教程

WebRTC 教程
VueJS 教程

VueJS 教程

数据库教程

SQL 教程

SQL 教程
MySQL 教程

MySQL 教程
MongoDB 教程

MongoDB 教程
PostgreSQL 教程

PostgreSQL 教程
SQLite 教程

SQLite 教程
Redis 教程

Redis 教程
MariaDB 教程

MariaDB 教程

图形图像教程

Vulkan 教程

Vulkan 教程
OpenCV 教程

OpenCV 教程

大数据教程

R语言 教程

R语言 教程

开发工具教程

Git 教程

Git 教程
VSCode 教程

VSCode 教程
Docker 教程

Docker 教程
Gerrit 教程

Gerrit 教程
Excel 教程

Excel 教程

计算机教程

Go语言 教程

Go语言 教程
C++ 教程

C++ 教程

Scrapy 基础教程

登录

找回密码？

注册