Scrapy 选择器描述
当你爬取网页时,你需要通过使用称为选择器的机制来提取HTML源的某一部分,通过使用XPath或CSS表达式实现。选择器是建立在lxml库之上的,它用Python语言处理XML和HTML。
使用下面的代码片段来定义选择器的不同概念–
Scrapy 创建选择器
你可以通过传递文本或TextResponse对象来构造选择器类实例。
使用上述代码,你可以从文本中构建为—
它将显示结果为–
你可以从Response中构建为–
它将显示结果为–
Scrapy 使用选择器
使用上述简单的代码片段,你可以构建XPath来选择标题标签中定义的文本,如下图所示
现在,你可以使用如下所示的.extract()
方法提取文本数据 −
它将产生如下结果
你可以显示如下所示的所有元素的名称 −
如果你想提取第一个元素,那么使用方法.extract_first()
,如下所示
它将显示元素为-
Scrapy 选择器嵌套
使用上述代码,你可以使用.xpath()
方法嵌套选择器来显示页面链接和图片来源,如下所示
它将显示结果为–
Scrapy 选择器中使用正则表达式
Scrapy允许使用正则表达式来提取数据,它使用.re()
方法。
上面一行显示的图像名称为-
Scrapy 使用相对的XPaths
当你使用以/开头的XPaths时,嵌套选择器和XPath都与文档的绝对路径有关,而不是选择器的相对路径。
如果你想提取 <p>
元素,然后首先获得所有的div元素 –
接下来,你可以提取里面所有的'p'
元素,方法是在XPath前加一个点,如.//p
,如下图所示
Scrapy 使用EXSLT扩展
EXSLT是一个发布XSLT(可扩展样式表语言转换)扩展的社区,它将XML文档转换为XHTML文档。你可以在XPath表达式中使用EXSLT扩展和注册的命名空间,如下表所示
Sr.No | Prefix & Usage | 命名空间 |
---|---|---|
1 | re 正则表达式 |
http://exslt.org/regexp/index.html |
2 | set 设置操作 |
http://exslt.org/set/index.html |
你可以在上一节中查看使用正则表达式提取数据的简单代码格式。
有一些XPath提示,在使用XPath与Scrapy选择器时很有用。欲了解更多信息,请点击此链接。