当前位置：极客教程 > Scrapy > Scrapy 基本概念 > Scrapy – Item管道

Scrapy – Item管道

Scrapy Item管道描述

Item管道是一种处理被爬取Item的方法。当一个Item被发送到Item管道时，它被一个蜘蛛搜刮，并使用几个组件进行处理，这些组件按顺序执行。

每当收到一个Item，它就会决定以下行动中的任何一个——。

  • 继续处理该Item
  • 从管道中删除.
  • 停止处理该项目.

  • 在数据库中存储爬取的Item.

  • 如果收到的Item是重复的，那么它将放弃重复的Item
  • 它将检查Item是否带有目标字段.
  • 清除HTML数据.

语法

process_item(self, item, spider)
Python

上述方法包含以下参数 –

  • Item（Item对象或字典） – 它指定了被爬取的Item
  • spider (spider object) – 爬取Item的Spider.

你可以使用下表中给出的其他方法—-。

编号 方法 描述
1 open_spider( *self, spider* ) 当蜘蛛被打开时，它被选中
spider (spider 对象) − 它指的是被打开的Spider
2 close_spider( *self, spider* ) 当Spider被关闭时，它被选中
spider (spider 对象) − 它指的是被关闭的Spider
3 from_crawler( *cls, crawler* ) 在爬虫的帮助下，管道可以访问核心组件，如Scrapy的信号和设置
crawler (Crawler 对象) − 它指的是使用该管道的爬虫

例子

以下是不同概念中使用的Item管道的例子。

删除没有Tag的Item

在下面的代码中，管道对那些不包括增值税的Item（excludes_vat属性）的（价格）属性进行平衡，并忽略那些没有价格标签的Item-

from Scrapy.exceptions import DropItem  
class PricePipeline(object): 
   vat = 2.25 

   def process_item(self, item, spider): 
      if item['price']: 
         if item['excludes_vat']: 
            item['price'] = item['price'] * self.vat 
            return item 
         else: 
            raise DropItem("Missing price in %s" % item)
Python

将Item写入JSON文件

下面的代码将把所有蜘蛛搜刮来的Item存储到一个items.jl文件中，该文件以JSON格式的序列化形式，每行包含一个Item。代码中使用了JsonWriterPipeline类来展示如何编写item pipeline —

import json  

class JsonWriterPipeline(object): 
   def __init__(self): 
      self.file = open('items.jl', 'wb') 

   def process_item(self, item, spider): 
      line = json.dumps(dict(item)) + "\n" 
      self.file.write(line) 
      return item
Python

将Item写入MongoDB

你可以在Scrapy设置中指定MongoDB地址和数据库名称，MongoDB集合可以用Item类来命名。下面的代码描述了如何使用from_crawler()方法来正确地收集资源 —

import pymongo  

class MongoPipeline(object):  
   collection_name = 'Scrapy_list' 

   def __init__(self, mongo_uri, mongo_db): 
      self.mongo_uri = mongo_uri 
      self.mongo_db = mongo_db 

   @classmethod 
   def from_crawler(cls, crawler): 
      return cls( 
         mongo_uri = crawler.settings.get('MONGO_URI'), 
         mongo_db = crawler.settings.get('MONGO_DB', 'lists') 
      ) 

   def open_spider(self, spider): 
      self.client = pymongo.MongoClient(self.mongo_uri) 
      self.db = self.client[self.mongo_db] 

   def close_spider(self, spider): 
      self.client.close() 

   def process_item(self, item, spider): 
      self.db[self.collection_name].insert(dict(item)) 
      return item
Python

重复过滤器

过滤器将检查重复的Item，它将放弃已经处理的Item。在下面的代码中，我们为我们的Item使用了一个唯一的id，但是spider返回了许多具有相同id的Item –

from scrapy.exceptions import DropItem  

class DuplicatesPipeline(object):  
   def __init__(self): 
      self.ids_seen = set() 

   def process_item(self, item, spider): 
      if item['id'] in self.ids_seen: 
         raise DropItem("Repeated items found: %s" % item) 
      else: 
         self.ids_seen.add(item['id']) 
         return item
Python

激活一个Item管道

你可以通过在ITEM_PIPELINES设置中添加它的类来激活一个Item管道组件，如以下代码所示。你可以按照类的运行顺序为其分配整数值（顺序可以是低值到高值的类），数值将在0-1000范围内。

ITEM_PIPELINES = {
   'myproject.pipelines.PricePipeline': 100,
   'myproject.pipelines.JsonWriterPipeline': 600,
}
Python

Python教程

Python 教程

Python 教程
Tkinter 教程

Tkinter 教程
Pandas 教程

Pandas 教程
NumPy 教程

NumPy 教程
Flask 教程

Flask 教程
Django 教程

Django 教程
PySpark 教程

PySpark 教程
wxPython 教程

wxPython 教程
SymPy 教程

SymPy 教程
Seaborn 教程

Seaborn 教程
SciPy 教程

SciPy 教程
RxPY 教程

RxPY 教程
Pycharm 教程

Pycharm 教程
Pygame 教程

Pygame 教程
PyGTK 教程

PyGTK 教程
PyQt 教程

PyQt 教程
PyQt5 教程

PyQt5 教程
PyTorch 教程

PyTorch 教程
Matplotlib 教程

Matplotlib 教程
Web2py 教程

Web2py 教程
BeautifulSoup 教程

BeautifulSoup 教程

Java教程

Java 教程

Java 教程

Web教程

HTML 教程

HTML 教程
CSS 教程

CSS 教程
CSS3 教程

CSS3 教程
jQuery 教程

jQuery 教程
Ajax 教程

Ajax 教程
AngularJS 教程

AngularJS 教程
TypeScript 教程

TypeScript 教程
WordPress 教程

WordPress 教程
Laravel 教程

Laravel 教程
Next.js 教程

Next.js 教程
PhantomJS 教程

PhantomJS 教程
Three.js 教程

Three.js 教程
Underscore.JS 教程

Underscore.JS 教程
WebGL 教程

WebGL 教程
WebRTC 教程

WebRTC 教程
VueJS 教程

VueJS 教程

数据库教程

SQL 教程

SQL 教程
MySQL 教程

MySQL 教程
MongoDB 教程

MongoDB 教程
PostgreSQL 教程

PostgreSQL 教程
SQLite 教程

SQLite 教程
Redis 教程

Redis 教程
MariaDB 教程

MariaDB 教程

图形图像教程

Vulkan 教程

Vulkan 教程
OpenCV 教程

OpenCV 教程

大数据教程

R语言 教程

R语言 教程

开发工具教程

Git 教程

Git 教程
VSCode 教程

VSCode 教程
Docker 教程

Docker 教程
Gerrit 教程

Gerrit 教程
Excel 教程

Excel 教程

计算机教程

Go语言 教程

Go语言 教程
C++ 教程

C++ 教程

Scrapy 基本概念

登录

找回密码？

注册