Python DataFrame的合并|极客教程

Python DataFrame的合并

在数据分析和处理中，经常需要将多个DataFrame合并为一个DataFrame。Python的pandas库提供了多种方法来合并DataFrame，本文将详细介绍这些方法。

1. 合并DataFrame的常用方法

pandas库提供了多种方法来合并DataFrame，常见的方法有：

concat()函数：将多个DataFrame按行或列方向进行连接。
merge()函数：根据一个或多个键将两个DataFrame连接起来。
join()函数：通过索引或者列名将两个DataFrame进行连接。
append()函数：将一行或一列添加到DataFrame中。

下面分别介绍这些方法的用法和示例。

1.1 concat()函数

concat()函数用于将多个DataFrame按行或列方向进行连接。它有以下常用参数：

objs：需要连接的DataFrame对象，可以是一个列表或字典。
axis：连接的方向，0表示按行连接，1表示按列连接。
join：连接的方式，可以是”inner”（默认）表示取交集，或者”outer”表示取并集。

在使用concat()函数时，需要保证待连接的DataFrame具有相同的列名（或者索引），否则会出现缺失值。

示例代码如下：

import pandas as pd

# 创建两个DataFrame对象
df1 = pd.DataFrame({'A': [1, 2, 3], 'B': [4, 5, 6]})
df2 = pd.DataFrame({'A': [7, 8, 9], 'B': [10, 11, 12]})

# 按行连接两个DataFrame
result = pd.concat([df1, df2], axis=0)
print(result)

# 按列连接两个DataFrame
result = pd.concat([df1, df2], axis=1)
print(result)

运行结果如下：

   A   B
0  1   4
1  2   5
2  3   6
0  7  10
1  8  11
2  9  12

   A  B  A   B
0  1  4  7  10
1  2  5  8  11
2  3  6  9  12

1.2 merge()函数

merge()函数用于根据一个或多个键将两个DataFrame连接起来。它有以下常用参数：

left：要连接的左侧DataFrame对象。
right：要连接的右侧DataFrame对象。
on：要连接的列名或列名列表，表示连接的键。如果左右两个DataFrame具有相同的列名，可以省略该参数。
how：连接的方式，可以是”inner”（默认）表示取交集，或者”outer”表示取并集。
sort：是否按连接键进行排序，默认为False。

示例代码如下：

import pandas as pd

# 创建两个DataFrame对象
df1 = pd.DataFrame({'key': ['A', 'B', 'C'], 'value': [1, 2, 3]})
df2 = pd.DataFrame({'key': ['B', 'C', 'D'], 'value': [4, 5, 6]})

# 根据键进行连接
result = pd.merge(df1, df2, on='key')
print(result)

运行结果如下：

  key  value_x  value_y
0   B        2        4
1   C        3        5

1.3 join()函数

join()函数用于通过索引或者列名将两个DataFrame进行连接。它有以下常用参数：

other：要连接的另一个DataFrame对象。
on：连接的列名或列名列表，表示连接的键。如果左右两个DataFrame具有相同的列名，可以省略该参数。
how：连接的方式，可以是”inner”（默认）表示取交集，或者”outer”表示取并集。
lsuffix、rsuffix：用于在连接时区分具有相同列名的列，默认为None。

示例代码如下：

import pandas as pd

# 创建两个DataFrame对象
df1 = pd.DataFrame({'value': [1, 2, 3]}, index=['A', 'B', 'C'])
df2 = pd.DataFrame({'value': [4, 5, 6]}, index=['B', 'C', 'D'])

# 根据索引进行连接
result = df1.join(df2, lsuffix='_left', rsuffix='_right')
print(result)

运行结果如下：

   value_left  value_right
A           1          NaN
B           2          4.0
C           3          5.0

1.4 append()函数

append()函数用于将一行或一列添加到DataFrame中。它有以下常用参数：

other：待添加的行、列或DataFrame对象。
ignore_index：是否忽略原始索引，默认为False。

示例代码如下：

import pandas as pd

# 创建DataFrame对象
df = pd.DataFrame({'A': [1, 2, 3], 'B': [4, 5, 6]})

# 添加一行
row = pd.DataFrame({'A': [7], 'B': [8]})
result = df.append(row)
print(result)

# 添加一列
df['C'] = [9, 10, 11]
print(df)

运行结果如下：

   A  B
0  1  4
1  2  5
2  3  6
0  7  8

   A  B   C
0  1  4   9
1  2  5  10
2  3  6  11

2. DataFrame的合并应用场景

2.1 数据拼接

当我们有多个数据文件需要合并为一个整体时，可以使用concat()函数将它们按行或列方向进行拼接。例如，有两个用户信息的数据文件，一个包含了用户的基本信息，另一个包含了用户的购买记录，我们可以将它们按用户ID进行连接。

示例代码如下：

import pandas as pd

# 读取两个数据文件
user_info = pd.read_csv('user_info.csv')
purchase_record = pd.read_csv('purchase_record.csv')

# 按用户ID连接两个DataFrame
merged_data = pd.merge(user_info, purchase_record, on='user_id')
print(merged_data)

2.2 数据关联

当我们有多个具有相同键的数据文件需要合并时，可以使用merge()函数将它们根据键进行连接。例如，有两个数据文件，一个包含了商品的信息，另一个包含了商品的销售记录，我们可以根据商品ID将它们进行关联。

示例代码如下：

import pandas as pd

# 读取两个数据文件
product_info = pd.read_csv('product_info.csv')
sales_record = pd.read_csv('sales_record.csv')

# 根据商品ID连接两个DataFrame
merged_data = pd.merge(product_info, sales_record, on='product_id')
print(merged_data)

2.3 数据扩充

当我们有一个DataFrame，想要添加一行或一列时，可以使用append()函数将行或列添加到DataFrame中。示例代码如下：

import pandas as pd

# 创建一个DataFrame对象
df = pd.DataFrame({'A': [1, 2, 3], 'B': [4, 5, 6]})

# 添加一行
row = pd.DataFrame({'A': [7], 'B': [8]})
df = df.append(row, ignore_index=True)
print(df)

# 添加一列
df['C'] = [9, 10, 11]
print(df)

运行结果如下：

   A  B
0  1  4
1  2  5
2  3  6
3  7  8

   A  B   C
0  1  4   9
1  2  5  10
2  3  6  11
3  7  8  NaN

3. DataFrame的合并注意事项

在使用DataFrame的合并方法时，需要注意以下几点：

3.1 列名（或索引）的一致性

在合并DataFrame时，要确保待合并的DataFrame具有相同的列名（或者索引），否则会出现缺失值。可以使用rename()函数对列名进行重命名，或者使用set_index()函数设置索引。

示例代码如下：

import pandas as pd

# 创建两个DataFrame对象
df1 = pd.DataFrame({'A': [1, 2, 3], 'B': [4, 5, 6]})
df2 = pd.DataFrame({'C': [7, 8, 9], 'D': [10, 11, 12]})

# 使用rename()函数对列名进行重命名
df2 = df2.rename(columns={'C': 'A', 'D': 'B'})

# 合并DataFrame
result = pd.concat([df1, df2], axis=0)
print(result)

3.2 键的一致性

在使用merge()函数进行连接时，要确保连接的键存在且一致。如果两个DataFrame具有相同的列名，可以省略on参数。

示例代码如下：

import pandas as pd

# 创建两个DataFrame对象
df1 = pd.DataFrame({'key': ['A', 'B', 'C'], 'value': [1, 2, 3]})
df2 = pd.DataFrame({'key': ['B', 'C', 'D'], 'value': [4, 5, 6]})

# 连接时省略on参数
result = pd.merge(df1, df2)
print(result)

3.3 数据类型的一致性

在合并DataFrame时，要确保连接的列具有相同的数据类型，否则可能会出现错误。可以使用astype()函数对数据类型进行转换。

示例代码如下：

import pandas as pd

# 创建两个DataFrame对象
df1 = pd.DataFrame({'A': [1, 2, 3], 'B': ['4', '5', '6']})
df2 = pd.DataFrame({'A': [7, 8, 9], 'B': [10, 11, 12]})

# 使用astype()函数对数据类型进行转换
df1['B'] = df1['B'].astype(int)

# 合并DataFrame
result = pd.concat([df1, df2], axis=0)
print(result)

3.4 数据重复的处理

在合并DataFrame时，可能会出现重复的数据。可以使用drop_duplicates()函数对重复数据进行处理。

示例代码如下：

import pandas as pd

# 创建两个DataFrame对象
df1 = pd.DataFrame({'A': [1, 1, 2, 3], 'B': [4, 4, 5, 6]})
df2 = pd.DataFrame({'A': [2, 3, 3, 4], 'B': [7, 7, 8, 9]})

# 去除重复数据
df1 = df1.drop_duplicates()
df2 = df2.drop_duplicates()

# 合并DataFrame
result = pd.concat([df1, df2], axis=0)
print(result)