BeautifulSoup 使用Selenium和Python提取表格数据到pandas dataframe

在本文中，我们将介绍如何使用Selenium和Python中的BeautifulSoup库将网页中的表格数据提取到pandas dataframe中。随着互联网的发展，我们经常需要从网页中提取数据进行分析和处理。使用BeautifulSoup结合Selenium可以帮助我们自动化这一过程，并将数据保存到pandas dataframe中。

使用Selenium库可以模拟浏览器行为，包括加载网页、点击按钮、输入文本等等。而BeautifulSoup库则可以帮助我们解析HTML或XML文档，并提供了方便的方法来查找、遍历和提取其中的数据。

阅读更多：BeautifulSoup 教程

安装依赖库

在开始之前，我们需要先安装所需的依赖库。使用以下命令可以安装Selenium和BeautifulSoup库：

pip install selenium
pip install beautifulsoup4
pip install pandas

设置Selenium和BeautifulSoup

在开始编写代码之前，我们需要先导入所需的库。

import time
from selenium import webdriver
from bs4 import BeautifulSoup
import pandas as pd

接下来，我们需要设置Selenium，让它启动一个模拟的浏览器并加载网页。

# 设置浏览器驱动，这里使用Chrome浏览器的驱动
browser = webdriver.Chrome("path_to_chromedriver")

# 打开网页
browser.get("https://example.com")

提取表格数据

在这个示例中，我们将提取网页中的一个表格，并将其数据保存到pandas dataframe中。首先，我们需要找到表格的标签（通常是<table>标签），然后使用BeautifulSoup提供的方法对表格进行解析。

# 使用BeautifulSoup解析网页内容
soup = BeautifulSoup(browser.page_source, "html.parser")

# 找到表格标签
table = soup.find("table")

# 提取表格数据
data = []
for row in table.find_all("tr"):
    cols = row.find_all("td")
    rowData = []
    for col in cols:
        rowData.append(col.text.strip())
    data.append(rowData)

在上面的代码中，我们首先使用find()方法找到网页中的表格标签，然后使用find_all()方法找到所有的行（使用<tr>标签表示）。接着，对于每一行，我们使用find_all()方法找到所有的列（使用<td>标签表示），然后将每个列的文本保存到一个列表中。最后，我们将每一行的数据保存到一个列表中。

将数据保存到pandas dataframe

现在，我们已经成功提取了表格的数据，接下来我们将其保存到pandas dataframe中。

# 创建pandas dataframe
df = pd.DataFrame(data[1:], columns=data[0])

上面的代码中，我们首先使用提取到的第一行作为列名，然后将剩下的数据作为数据行。最后，我们将数据保存到pandas dataframe中。

示例

下面是一个完整的示例，包括启动浏览器、加载网页、提取表格数据、保存到pandas dataframe的步骤。

import time
from selenium import webdriver
from bs4 import BeautifulSoup
import pandas as pd

# 设置浏览器驱动，这里使用Chrome浏览器的驱动
browser = webdriver.Chrome("path_to_chromedriver")

# 打开网页
browser.get("https://example.com")

# 使用BeautifulSoup解析网页内容
soup = BeautifulSoup(browser.page_source, "html.parser")

# 找到表格标签
table = soup.find("table")

# 提取表格数据
data = []
for row in table.find_all("tr"):
    cols = row.find_all("td")
    rowData = []
    for col in cols:
        rowData.append(col.text.strip())
    data.append(rowData)

# 创建pandas dataframe
df = pd.DataFrame(data[1:], columns=data[0])

# 打印pandas dataframe
print(df)

# 关闭浏览器
browser.quit()

运行上面的代码，你将会看到提取到的表格数据输出到控制台。