Pandas 如何按预定义百分比拆分DataFrame

在本文中，我们将介绍如何使用Pandas按照预定义的百分比将DataFrame拆分成不同的部分。拆分DataFrame是数据处理和分析中一个常见的任务，可以根据需求以特定的比例划分数据集，例如将数据集分为训练集和测试集，或按照不同的百分比将数据随机分割成多个部分。

阅读更多：Pandas 教程

导入Pandas和创建示例DataFrame

在开始之前，我们首先需要导入Pandas库，并创建一个示例DataFrame来演示如何拆分。

import pandas as pd

# 创建示例DataFrame
data = {'Name': ['Alice', 'Bob', 'Charlie', 'David', 'Ella'],
        'Age': [25, 30, 35, 40, 45],
        'City': ['New York', 'London', 'Paris', 'Tokyo', 'Sydney']}
df = pd.DataFrame(data)

我们创建了一个包含姓名、年龄和城市的示例DataFrame。接下来，我们将介绍三种不同的方法来拆分DataFrame。

方法一：使用sample方法和frac参数按比例拆分DataFrame

Pandas的DataFrame对象提供了一个名为sample()的方法，通过设置frac参数，我们可以按照比例拆分DataFrame。frac参数的值可以是0到1之间的小数，表示按照相应的百分比进行拆分。例如，如果我们想要按照60%和40%的比例将DataFrame拆分成两个部分，可以按照以下方式进行：

# 按照60%和40%的比例拆分DataFrame
df1 = df.sample(frac=0.6, random_state=1)  # 60%的数据
df2 = df.drop(df1.index)  # 剩余40%的数据

在上述示例中，我们使用了sample()方法和frac参数拆分了DataFrame。random_state参数可以设置为一个整数，以确保每次运行时都使用相同的随机样本，以保持结果的一致性。

方法二：使用numpy的rand方法和boolean indexing以及iloc索引按比例拆分DataFrame

另一种方法是使用NumPy库的rand()方法生成与DataFrame行数相同的随机布尔值，然后使用布尔索引和iloc索引将DataFrame拆分成两个部分。

import numpy as np

# 生成与DataFrame行数相同的随机布尔值
mask = np.random.rand(len(df)) < 0.6

# 基于随机布尔值拆分DataFrame
df1 = df[mask]
df2 = df[~mask]

在上述示例中，我们首先使用np.random.rand()方法生成了与DataFrame行数相同长度的随机布尔值，然后使用布尔索引mask将DataFrame拆分成两个部分。~操作符用于反转布尔数组，以选中mask为False的行，即剩余的部分。

方法三：使用sklearn的train_test_split函数按比例拆分DataFrame

第三种方法是使用scikit-learn库的train_test_split()函数按比例将DataFrame拆分为训练集和测试集。

from sklearn.model_selection import train_test_split

# 按照70%和30%的比例拆分DataFrame为训练集和测试集
train_df, test_df = train_test_split(df, test_size=0.3, random_state=1)