当前位置：极客教程 > Scrapy > Scrapy 基础教程 > Scrapy – 项目管道

Scrapy – 项目管道

Scrapy – 项目管道

描述

Item Pipeline 是一种处理被搜刮项目的方法。当一个项目被发送到Item Pipeline时，它被一个蜘蛛搜刮，并使用几个组件进行处理，这些组件按顺序执行。

每当收到一个项目时，它就会决定以下行动中的任何一个 —

  • 继续处理该项目。
  • 从管道中删除它。
  • 停止处理该项目。

项目管道通常用于以下目的

  • 在数据库中存储搜刮的项目。
  • 如果收到的项目是重复的，那么它将放弃这个重复的项目。
  • 它将检查该项目是否带有目标字段。
  • 清除HTML数据。

语法

你可以使用以下方法来编写项目管道

process_item(self, item, spider)
Python

上述方法包含以下参数 –

  • Item (item object or dictionary) – 它指定了被搜刮的项目。
  • spider (spider object) – 铲除该项目的蜘蛛。

你可以使用下表中给出的其他方法

序号 方法和描述 参数
1 **open_spider( self, spider ) **当spider被打开时，它被选中。 spider (spider object) – 它指的是被打开的蜘蛛。
2 **close_spider( self, spider ) **当spider被关闭时，它被选中。 spider (spider object) – 它指的是被关闭的蜘蛛。
3 **from_crawler( cls, crawler ) **在crawler的帮助下，管道可以访问Scrapy的核心组件，如信号和设置。 crawler（爬虫对象） – 它指的是使用该管道的爬虫。

例子

以下是不同概念中使用的项目管道的例子。

丢弃没有标签的项目

在下面的代码中，管道会平衡那些不包括增值税 （excludes_vat属性） 的项目的 （价格） 属性，并忽略那些没有价格标签的项目 –

from Scrapy.exceptions import DropItem  
class PricePipeline(object): 
   vat = 2.25 

   def process_item(self, item, spider): 
      if item['price']: 
         if item['excludes_vat']: 
            item['price'] = item['price'] * self.vat 
            return item 
         else: 
            raise DropItem("Missing price in %s" % item)
Python

将项目写入一个JSON文件

下面的代码将把所有蜘蛛搜刮来的项目存储到一个 items.jl 文件中，该文件以JSON格式的序列化形式每行包含一个项目。The JsonWriterPipeline class is used in the code to show how to write item pipeline −

import json  

class JsonWriterPipeline(object): 
   def __init__(self): 
      self.file = open('items.jl', 'wb') 

   def process_item(self, item, spider): 
      line = json.dumps(dict(item)) + "\n" 
      self.file.write(line) 
      return item
Python

将项目写到MongoDB

你可以在Scrapy设置中指定MongoDB地址和数据库名称，MongoDB集合可以用项目类来命名。下面的代码描述了如何使用 from_crawler() 方法来正确地收集资源 —

import pymongo  

class MongoPipeline(object):  
   collection_name = 'Scrapy_list' 

   def __init__(self, mongo_uri, mongo_db): 
      self.mongo_uri = mongo_uri 
      self.mongo_db = mongo_db 

   @classmethod 
   def from_crawler(cls, crawler): 
      return cls( 
         mongo_uri = crawler.settings.get('MONGO_URI'), 
         mongo_db = crawler.settings.get('MONGO_DB', 'lists') 
      ) 

   def open_spider(self, spider): 
      self.client = pymongo.MongoClient(self.mongo_uri) 
      self.db = self.client[self.mongo_db] 

   def close_spider(self, spider): 
      self.client.close() 

   def process_item(self, item, spider): 
      self.db[self.collection_name].insert(dict(item)) 
      return item
Python

重复的过滤器

过滤器将检查重复的项目，它将放弃已经处理的项目。在下面的代码中，我们为我们的项目使用了一个唯一的id，但spider返回了许多具有相同id的项目 –

from scrapy.exceptions import DropItem  

class DuplicatesPipeline(object):  
   def __init__(self): 
      self.ids_seen = set() 

   def process_item(self, item, spider): 
      if item['id'] in self.ids_seen: 
         raise DropItem("Repeated items found: %s" % item) 
      else: 
         self.ids_seen.add(item['id']) 
         return item
Python

激活一个项目管线

你可以通过在 ITEM_PIPELINES 设置中添加它的类来激活一个项目管道组件，如以下代码所示。你可以按照类的运行顺序为其分配整数值（顺序可以是低值到高值的类），数值将在0-1000范围内。

ITEM_PIPELINES = {
   'myproject.pipelines.PricePipeline': 100,
   'myproject.pipelines.JsonWriterPipeline': 600,
}
Python

Python教程

Python 教程

Python 教程
Tkinter 教程

Tkinter 教程
Pandas 教程

Pandas 教程
NumPy 教程

NumPy 教程
Flask 教程

Flask 教程
Django 教程

Django 教程
PySpark 教程

PySpark 教程
wxPython 教程

wxPython 教程
SymPy 教程

SymPy 教程
Seaborn 教程

Seaborn 教程
SciPy 教程

SciPy 教程
RxPY 教程

RxPY 教程
Pycharm 教程

Pycharm 教程
Pygame 教程

Pygame 教程
PyGTK 教程

PyGTK 教程
PyQt 教程

PyQt 教程
PyQt5 教程

PyQt5 教程
PyTorch 教程

PyTorch 教程
Matplotlib 教程

Matplotlib 教程
Web2py 教程

Web2py 教程
BeautifulSoup 教程

BeautifulSoup 教程

Java教程

Java 教程

Java 教程

Web教程

HTML 教程

HTML 教程
CSS 教程

CSS 教程
CSS3 教程

CSS3 教程
jQuery 教程

jQuery 教程
Ajax 教程

Ajax 教程
AngularJS 教程

AngularJS 教程
TypeScript 教程

TypeScript 教程
WordPress 教程

WordPress 教程
Laravel 教程

Laravel 教程
Next.js 教程

Next.js 教程
PhantomJS 教程

PhantomJS 教程
Three.js 教程

Three.js 教程
Underscore.JS 教程

Underscore.JS 教程
WebGL 教程

WebGL 教程
WebRTC 教程

WebRTC 教程
VueJS 教程

VueJS 教程

数据库教程

SQL 教程

SQL 教程
MySQL 教程

MySQL 教程
MongoDB 教程

MongoDB 教程
PostgreSQL 教程

PostgreSQL 教程
SQLite 教程

SQLite 教程
Redis 教程

Redis 教程
MariaDB 教程

MariaDB 教程

图形图像教程

Vulkan 教程

Vulkan 教程
OpenCV 教程

OpenCV 教程

大数据教程

R语言 教程

R语言 教程

开发工具教程

Git 教程

Git 教程
VSCode 教程

VSCode 教程
Docker 教程

Docker 教程
Gerrit 教程

Gerrit 教程
Excel 教程

Excel 教程

计算机教程

Go语言 教程

Go语言 教程
C++ 教程

C++ 教程

Scrapy 基础教程

登录

找回密码？

注册