Scrapy – Item管道

Scrapy Item管道描述

Item管道是一种处理被爬取Item的方法。当一个Item被发送到Item管道时，它被一个蜘蛛搜刮，并使用几个组件进行处理，这些组件按顺序执行。

每当收到一个Item，它就会决定以下行动中的任何一个——。

• 继续处理该Item
• 从管道中删除.
• 停止处理该项目.

• 在数据库中存储爬取的Item.

• 如果收到的Item是重复的，那么它将放弃重复的Item
• 它将检查Item是否带有目标字段.
• 清除HTML数据.

语法

process_item(self, item, spider) 

上述方法包含以下参数 –

• Item（Item对象或字典） – 它指定了被爬取的Item
• spider (spider object) – 爬取Item的Spider.

你可以使用下表中给出的其他方法—-。

例子

以下是不同概念中使用的Item管道的例子。

删除没有Tag的Item

在下面的代码中，管道对那些不包括增值税的Item（excludes_vat属性）的（价格）属性进行平衡，并忽略那些没有价格标签的Item-

from Scrapy.exceptions import DropItem  
class PricePipeline(object): 
   vat = 2.25 

   def process_item(self, item, spider): 
      if item['price']: 
         if item['excludes_vat']: 
            item['price'] = item['price'] * self.vat 
            return item 
         else: 
            raise DropItem("Missing price in %s" % item) 

将Item写入JSON文件

下面的代码将把所有蜘蛛搜刮来的Item存储到一个items.jl文件中，该文件以JSON格式的序列化形式，每行包含一个Item。代码中使用了JsonWriterPipeline类来展示如何编写item pipeline —

import json  

class JsonWriterPipeline(object): 
   def __init__(self): 
      self.file = open('items.jl', 'wb') 

   def process_item(self, item, spider): 
      line = json.dumps(dict(item)) + "\n" 
      self.file.write(line) 
      return item

将Item写入MongoDB

你可以在Scrapy设置中指定MongoDB地址和数据库名称，MongoDB集合可以用Item类来命名。下面的代码描述了如何使用from_crawler()方法来正确地收集资源 —

import pymongo  

class MongoPipeline(object):  
   collection_name = 'Scrapy_list' 

   def __init__(self, mongo_uri, mongo_db): 
      self.mongo_uri = mongo_uri 
      self.mongo_db = mongo_db 

   @classmethod 
   def from_crawler(cls, crawler): 
      return cls( 
         mongo_uri = crawler.settings.get('MONGO_URI'), 
         mongo_db = crawler.settings.get('MONGO_DB', 'lists') 
      ) 

   def open_spider(self, spider): 
      self.client = pymongo.MongoClient(self.mongo_uri) 
      self.db = self.client[self.mongo_db] 

   def close_spider(self, spider): 
      self.client.close() 

   def process_item(self, item, spider): 
      self.db[self.collection_name].insert(dict(item)) 
      return item

重复过滤器

过滤器将检查重复的Item，它将放弃已经处理的Item。在下面的代码中，我们为我们的Item使用了一个唯一的id，但是spider返回了许多具有相同id的Item –

from scrapy.exceptions import DropItem  

class DuplicatesPipeline(object):  
   def __init__(self): 
      self.ids_seen = set() 

   def process_item(self, item, spider): 
      if item['id'] in self.ids_seen: 
         raise DropItem("Repeated items found: %s" % item) 
      else: 
         self.ids_seen.add(item['id']) 
         return item

激活一个Item管道

你可以通过在ITEM_PIPELINES设置中添加它的类来激活一个Item管道组件，如以下代码所示。你可以按照类的运行顺序为其分配整数值（顺序可以是低值到高值的类），数值将在0-1000范围内。

ITEM_PIPELINES = {
   'myproject.pipelines.PricePipeline': 100,
   'myproject.pipelines.JsonWriterPipeline': 600,
}