Scrapy – 设置

说明

Scrapy组件的行为可以通过Scrapy设置来修改。如果你有多个Scrapy项目，这些设置也可以选择当前正在运行的Scrapy项目。

指定设置

你必须通知Scrapy你在刮削网站时使用哪种设置。为此，应该使用环境变量 SCRAPY_SETTINGS_MODULE ，其值应该是Python路径语法。

填充设置

下表显示了一些机制，你可以通过这些机制来填充设置−

1. 命令行选项 这里，通过的参数优先于其他选项。-s用于覆盖一个或多个设置。

scrapy crawl myspider -s LOG_FILE = scrapy.log

2. Settings per-spider 蜘蛛可以有自己的设置，通过使用属性custom_settings覆盖项目的设置。

class DemoSpider(scrapy.Spider): 
   name = 'demo'  
   custom_settings = { 
      'SOME_SETTING': 'some value', 
   }

3. Project settings module 在这里，你可以填充你的自定义设置，如添加或修改settings.py文件中的设置。
4. Default settings per-command 每个Scrapy工具命令都在default_settings属性中定义了自己的设置，以覆盖全局默认设置。
5. Default global settings 这些设置可以在scrapy.settings.default_settings模块中找到。

访问设置

它们可以通过self.settings获得，并在初始化后在基础spider中设置。

下面的例子演示了这一点。

class DemoSpider(scrapy.Spider): 
   name = 'demo' 
   start_urls = ['http://example.com']  
   def parse(self, response): 
      print("Existing settings: %s" % self.settings.attributes.keys()) 

要在初始化蜘蛛之前使用设置，你必须在你的蜘蛛的 _init_() 方法中覆盖 from_crawler 方法。您可以通过传递给 from_crawler 方法的属性 scrapy.crawler.Crawler.settings 访问设置。

下面的例子演示了这一点。

class MyExtension(object): 
   def __init__(self, log_is_enabled = False): 
      if log_is_enabled: 
         print("Enabled log") 
         @classmethod 
   def from_crawler(cls, crawler): 
      settings = crawler.settings 
      return cls(settings.getbool('LOG_ENABLED')) 

设置名称的理由

设置名称是作为其配置的组件的前缀而添加的。例如，对于 robots.txt 扩展，设置名称可以是 ROBOTSTXT_ENABLED、ROBOTSTXT_OBEY、ROBOTSTXT_CACHEDIR，等等。

内置设置参考

下表显示了Scrapy的内置设置-