当前位置：极客教程 > Scrapy > Scrapy 基础教程 > Scrapy – 选择器

Scrapy – 选择器

Scrapy – 选择器

描述

当你搜刮网页时，你需要通过使用称为 选择器 的机制来提取HTML源的某一部分，通过使用XPath或CSS表达式来实现。选择器是建立在 lxml 库之上的，它用Python语言处理XML和HTML。

使用下面的代码片段来定义选择器的不同概念-

<html>
   <head>
      <title>My Website</title>
   </head>

   <body>
      <span>Hello world!!!</span>
      <div class = 'links'>
         <a href = 'one.html'>Link 1<img src = 'image1.jpg'/></a>
         <a href = 'two.html'>Link 2<img src = 'image2.jpg'/></a>
         <a href = 'three.html'>Link 3<img src = 'image3.jpg'/></a>
      </div>
   </body>
</html>
Python

构建选择器

你可以通过传递 文本 或 TextResponse 对象来构造选择器类实例。根据提供的输入类型，选择器选择以下规则 −

from scrapy.selector import Selector 
from scrapy.http import HtmlResponse
Python

使用上述代码，你可以从文本中构建为—

Selector(text = body).xpath('//span/text()').extract()
Python

它将显示结果为–

[u'Hello world!!!']
Python

你可以从响应中构建为–

response = HtmlResponse(url = 'http://mysite.com', body = body) 
Selector(response = response).xpath('//span/text()').extract()
Python

它将显示结果为–

[u'Hello world!!!']
Python

使用选择器

使用上述简单的代码片段，你可以构建XPath来选择定义在标题标签中的文本，如下所示

>>response.selector.xpath('//title/text()')
Python

现在，你可以使用如下所示的 .extract( )方法提取文本数据-

>>response.xpath('//title/text()').extract()
Python

它将产生如下结果

[u'My Website']
Python

你可以显示如下所示的所有元素的名称-

>>response.xpath('//div[@class = "links"]/a/text()').extract()
Python

它将显示元素为-

Link 1
Link 2
Link 3
Python

如果你想提取第一个元素，那么使用 .extract_first( )方法，如下所示

>>response.xpath('//div[@class = "links"]/a/text()').extract_first()
Python

它将显示元素为-

Link 1
Python

嵌套选择器

使用上述代码，你可以使用 . xpath () 方法嵌套选择器来显示页面链接和图片来源，如下所示

links = response.xpath('//a[contains(@href, "image")]') 

for index, link in enumerate(links): 
   args = (index, link.xpath('@href').extract(), link.xpath('img/@src').extract()) 
   print 'The link %d pointing to url %s and image %s' % args
Python

它将显示结果为–

Link 1 pointing to url [u'one.html'] and image [u'image1.jpg']
Link 2 pointing to url [u'two.html'] and image [u'image2.jpg']
Link 3 pointing to url [u'three.html'] and image [u'image3.jpg']
Python

使用正则表达式的选择器

Scrapy允许使用正则表达式来提取数据，它使用 .re() 方法。从上面的HTML代码中，我们将提取如下所示的图像名称

>>response.xpath('//a[contains(@href, "image")]/text()').re(r'Name:\s*(.*)')
Python

上面一行显示的图像名称为-

[u'Link 1', 
u'Link 2', 
u'Link 3']
Python

使用相对的XPaths

当你使用以 / 开头的XPaths时，嵌套选择器和XPath都与文档的绝对路径有关，而不是选择器的相对路径。

如果你想提取 **< p> **元素，那么首先要获得所有的div元素-

>>mydiv = response.xpath('//div')
Python

接下来，你可以提取里面所有的 ‘ p ‘ 元素，方法是在XPath前加一个点，如 .//p ，如下图所示

>>for p in mydiv.xpath('.//p').extract()
Python

使用EXSLT扩展

EXSLT是一个发布XSLT（Extensible Stylesheet Language Transformations）扩展的社区，它将XML文档转换为XHTML文档。你可以在XPath表达式中使用EXSLT扩展和注册的命名空间，如下表所示

序号 前缀和用法 命名空间
1 re 正则表达式 http://exslt.org/regexp/index.html
2 set 操作 http://exslt.org/set/index.html

你可以在上一节中查看使用正则表达式提取数据的简单代码格式。

有一些XPath提示，在使用XPath与Scrapy选择器时很有用。

Python教程

Python 教程

Python 教程
Tkinter 教程

Tkinter 教程
Pandas 教程

Pandas 教程
NumPy 教程

NumPy 教程
Flask 教程

Flask 教程
Django 教程

Django 教程
PySpark 教程

PySpark 教程
wxPython 教程

wxPython 教程
SymPy 教程

SymPy 教程
Seaborn 教程

Seaborn 教程
SciPy 教程

SciPy 教程
RxPY 教程

RxPY 教程
Pycharm 教程

Pycharm 教程
Pygame 教程

Pygame 教程
PyGTK 教程

PyGTK 教程
PyQt 教程

PyQt 教程
PyQt5 教程

PyQt5 教程
PyTorch 教程

PyTorch 教程
Matplotlib 教程

Matplotlib 教程
Web2py 教程

Web2py 教程
BeautifulSoup 教程

BeautifulSoup 教程

Java教程

Java 教程

Java 教程

Web教程

HTML 教程

HTML 教程
CSS 教程

CSS 教程
CSS3 教程

CSS3 教程
jQuery 教程

jQuery 教程
Ajax 教程

Ajax 教程
AngularJS 教程

AngularJS 教程
TypeScript 教程

TypeScript 教程
WordPress 教程

WordPress 教程
Laravel 教程

Laravel 教程
Next.js 教程

Next.js 教程
PhantomJS 教程

PhantomJS 教程
Three.js 教程

Three.js 教程
Underscore.JS 教程

Underscore.JS 教程
WebGL 教程

WebGL 教程
WebRTC 教程

WebRTC 教程
VueJS 教程

VueJS 教程

数据库教程

SQL 教程

SQL 教程
MySQL 教程

MySQL 教程
MongoDB 教程

MongoDB 教程
PostgreSQL 教程

PostgreSQL 教程
SQLite 教程

SQLite 教程
Redis 教程

Redis 教程
MariaDB 教程

MariaDB 教程

图形图像教程

Vulkan 教程

Vulkan 教程
OpenCV 教程

OpenCV 教程

大数据教程

R语言 教程

R语言 教程

开发工具教程

Git 教程

Git 教程
VSCode 教程

VSCode 教程
Docker 教程

Docker 教程
Gerrit 教程

Gerrit 教程
Excel 教程

Excel 教程

计算机教程

Go语言 教程

Go语言 教程
C++ 教程

C++ 教程

Scrapy 基础教程

登录

找回密码？

注册