Scrapy 创建项目,在开始爬取之前,您必须创建一个新的Scrapy项目。 进入您打算存储代码的目录中,运行下列命令:
scrapy startproject tutorial
如果所示:
其中remotespider
是scrapy
项目的名称,该命令将会创建包含下列内容的remotespider
目录:
这些文件分别是:
scrapy.cfg
: 项目的配置文件remotespider/
: 该项目的python模块。之后您将在此加入代码。remotespider/items.py
: 项目中的item文件.remotespider/pipelines.py
: 项目中的pipelines文件.remotespider/settings.py
: 项目的设置文件.remotespider/spiders/
: 放置spider代码的目录.