Scrapy- 第一只蜘蛛

描述

Spider是一个定义初始URL以提取数据的类，如何跟踪分页链接以及如何提取和解析 items.py 中定义的字段。 Scrapy提供了不同类型的蜘蛛，每个蜘蛛都有一个特定的目的。

在first_scrapy/spiders目录下创建一个名为 “first_spider.py “ 的文件，在这里我们可以告诉Scrapy如何找到我们正在寻找的确切数据。为此，你必须定义一些属性–

name – 它定义了蜘蛛的唯一名称。
allowed_domains – 它包含了供蜘蛛抓取的基本URLs。
start-urls – 蜘蛛从哪里开始抓取的URL列表。
parse() – 它是一个提取和解析被抓取数据的方法。

下面的代码演示了蜘蛛代码的样子 –

import scrapy  

class firstSpider(scrapy.Spider): 
   name = "first" 
   allowed_domains = ["dmoz.org"] 

   start_urls = [ 
      "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/", 
      "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/" 
   ]  
   def parse(self, response): 
      filename = response.url.split("/")[-2] + '.html' 
      with open(filename, 'wb') as f: 
         f.write(response.body)