MySQL 如何将Scrapy中的items写入MySQL数据库

在Scrapy中使用MySQL数据库进行数据存储是一项非常常见的任务。在这篇文章中，我们将探讨如何将Scrapy中的items写入MySQL数据库，并且将会给出一些示例说明。

阅读更多：MySQL 教程

准备工作

在将items写入MySQL数据库之前，我们需要进行一些准备工作。我们需要在Scrapy项目中安装Python的MySQL库，以便我们能够直接与MySQL数据库进行交互。可以使用以下命令来安装Python的MySQL库：

pip install mysql-connector-python

在安装完Python的MySQL库后，我们需要在Scrapy项目中新建一个Python文件，并在该文件中指定数据库连接的参数。

以下是一个MySQL连接参数的示例：

import mysql.connector

mydb = mysql.connector.connect(
  host="localhost",
  user="yourusername",
  passwd="yourpassword",
  database="mydatabase"
)

在这个示例中，我们指定了连接MySQL数据库所必需的四个参数：主机名、用户名、密码和数据库名称。我们需要根据实际情况修改这些参数，以便将其与我们自己的MySQL数据库连接起来。

将items写入MySQL数据库

有了MySQL连接的参数设置之后，我们就可以开始将Scrapy中的items数据写入MySQL数据库了。为了将items写入数据库，我们需要创建数据库表，然后将items中的数据写入这个表中。

以下是一个将items写入MySQL数据库的示例：

import mysql.connector

mydb = mysql.connector.connect(
  host="localhost",
  user="yourusername",
  passwd="yourpassword",
  database="mydatabase"
)

mycursor = mydb.cursor()

mycursor.execute("CREATE TABLE customers (name VARCHAR(255), address VARCHAR(255))")

class MySpider(scrapy.Spider):
    name = "myspider"

    def start_requests(self):
        urls = [
            'http://www.example.com'
        ]
        for url in urls:
            yield scrapy.Request(url=url, callback=self.parse)

    def parse(self, response):
        for sel in response.xpath('//ul/li'):
            name = sel.xpath('a/text()').extract_first()
            address = sel.xpath('text()').extract_first()
            mycursor.execute("INSERT INTO customers (name, address) VALUES (%s, %s)", (name, address))
            mydb.commit()

在这个示例中，我们创建了一个名为“customers”的表。该表具有两个列：名称和地址。我们还创建了一个Scrapy蜘蛛，该蜘蛛能够从www.example.com中的页面中抓取数据并将其写入数据库中。对于每个抓取到的列表项，我们从response中提取名称和地址，并将它们作为参数传递给用于将数据写入数据库的SQL语句中。

值得注意的是，我们需要在每次调用mycursor.execute()之后显式调用mydb.commit()，以确保所有操作都已经被写入数据库。

总结

在这篇文章中，我们讨论了如何在Scrapy中使用MySQL数据库进行数据存储。我们使用了Python的MySQL库来简化对MySQL数据库的操作，并给出了一个示例代码，可以用于将Scrapy中的items写入MySQL数据库。通过学习这些知识，我们可以更好地掌握Scrapy工具，并在实际项目中使用它进行数据抓取和存储。