极客教程Scrapy – Feed exports
描述
Feed exports是一种存储从网站搜刮来的数据的方法，即生成一个 “导出文件”。
序列化格式
使用多种序列化格式和存储后端，Feed Exports使用Item exporters并生成一个带有刮削项目的feed。
下表显示了支持的格式-
| 序列号 | 格式和描述 |
|---|---|
| 1 | JSON FEED_FORMAT是 json 输出器使用的是 scrapy.exporters.JsonItemExporter类 。 |
| 2 | JSON行 FEED_FROMAT是 jsonlines ，出口者使用的是 scrapy.exporters.JsonLinesItemExporter类 。 |
| 3 | CSV FEED_FORMAT是 CSV Exporter，使用的是 scrapy.exporters.CsvItemExporter类 。 |
| 4 | XML FEED_FORMAT是 xml ，使用的是 scrapy.exporters.XmlItemExporter类 。 |
使用 FEED_EXPORTERS 设置，也可以扩展支持的格式
| 序号 | 格式和描述 |
|---|---|
| 1 | Pickle FEED_FORMAT是pickel 出口者使用的是 scrapy.exporters.PickleItemExporter类 。 |
| 2 | Marshal FEED_FORMAT是marshal格式，出口器使用的是 scrapy.exporters.MarshalItemExporter类 。 |
存储后端
存储后端定义了使用URI来存储feed的地方。
下表显示了支持的存储后端。
| 序号 | 存储后端和描述 |
|---|---|
| 1 | 本地文件系统 URI方案是 文件 ，它被用来存储饲料。 |
| 2 | FTP URI方案是 ftp ，它被用来存储饲料。 |
| 3 | S3 URI方案是 S3 ，feeds存储在Amazon S3上。需要外部库botocore 或boto 。 |
| 4 | 标准输出 URI方案是 stdout ，feeds被存储到标准输出。 |
存储URI参数
以下是存储URL的参数，在创建feed的时候会被替换：
- %（时间）s：这个参数被替换为时间戳。
- %(name)s：这个参数会被蜘蛛的名字所取代。
设置
下表显示了可以用来配置Feed导出的设置。
| 序号 | 设置和描述 |
|---|---|
| 1 | FEED_URI 它是用于启用饲料出口的出口饲料的URI。 |
| 2 | FEED_FORMAT 它是一个用于饲料的序列化格式。 |
| 3 | FEED_EXPORT_FIELDS 它用于定义需要导出的字段。 |
| 4 | FEED_STORE_EMPTY 它定义是否导出没有项目的feeds。 |
| 5 | FEED_STORAGES 它是一个字典，包含额外的饲料存储后端。 |
| 6 | FEED_STORAGES_BASE 它是一个具有内置feed存储后端的字典。 |
| 7 | FEED_EXPORTERS 它是一个具有额外饲料出口商的字典。 |
| 8 | FEED_EXPORTERS_BASE 它是一个具有内置饲料出口商的字典。 |