Pandas 数据重复值检测

在本文中，我们将介绍如何使用Pandas库中的函数来检测数据集中的重复值。重复值是数据集中常见的质量问题，如果忽略它们可能会导致分析结果的不准确。

阅读更多：Pandas 教程

什么是重复值？

重复值指的是数据集中指定行或列中有一样数据的情况，也称作重复条目或重复数据。

例如，我们有一个包含“姓名”和“年龄”的数据集，如果其中有两行的“姓名”和“年龄”都完全相同，那么就可以说这两行是重复的。

如何检测重复值？

在Pandas中，可以使用DataFrame对象的duplicated()函数和drop_duplicates()函数来检测重复值。

• duplicated()函数返回一个序列，表示哪些行是重复行。默认情况下，该函数会检查所有列。

import pandas as pd
df = pd.DataFrame({'A':[1,2,1],'B':[1,2,3]})
df.duplicated()

输出结果如下：

0    False
1    False
2     True
dtype: bool

• drop_duplicates()函数删除数据集中的重复行。默认情况下，该函数会检查所有列，并返回一个只包含唯一行的新DataFrame。

import pandas as pd
df = pd.DataFrame({'A':[1,2,1],'B':[1,2,3]})
df.drop_duplicates()

输出结果如下：

   A  B
0  1  1
1  2  2
2  1  3

如果要在特定列上检测和删除重复值，则需要使用subset参数指定需要检测和删除重复值的列名列表。

import pandas as pd
df = pd.DataFrame({'A':[1,2,1],'B':[1,2,3],'C':[1,2,1]})
df.drop_duplicates(subset=['A','C'])

输出结果如下：

   A  B  C
0  1  1  1
1  2  2  2

怎样自定义重复值的判定方式？

默认情况下，Pandas使用所有列的值来决定行是否重复。有时候需要自定义判定方法，以忽略一些不重要的列，或者基于某些列的值进行比较。这时可以设定subset参数。

Pandas提供了一个keep参数，可以用于在重复值检测时保留哪种行。默认情况下，所有重复的行都被标记为True，但是可以使用first或last参数指示保留哪个行。first参数保留第一次出现的行，而last参数保留最后一次出现的行。

例如，我们有一个数据集包含“姓名”、“年龄”和“地址”列，现在需要根据“姓名”和“地址”检测是否有重复项，并保留最后一个重复项。可以使用如下方法：

import pandas as pd
df = pd.DataFrame({'姓名':['张三','李四','王五','张三'],'年龄':[20,30,25,20],'地址':['北京','上海','广州','北京']})
df.drop_duplicates(subset=['姓名','地址'],keep='last')

输出结果如下：

    姓名  年龄 地址
1   李四  30  上海
2   王五  25  广州
3   张三  20  北京

如何处理重复值？

重复值的处理通常有以下几种方式：

• 删除重复值：使用drop_duplicates()函数删除重复行
• 替换重复值：使用fillna()函数、replace()函数或fillna()函数将重复值替换为其他值
• 忽略重复值：在一些情况下，重复值可能对数据分析影响不大，可以忽略并保留在数据集中

删除重复值

使用drop_duplicates()函数删除重复行是最常用的方法。例如，我们有一个包含“姓名”和“年龄”的数据集，现在需要删除“姓名”和“年龄”都完全相同的行。

import pandas as pd
df = pd.DataFrame({'姓名':['张三','李四','张三'],'年龄':[20,30,20]})
df.drop_duplicates()

输出结果如下：

    姓名  年龄
0   张三  20
1   李四  30

替换重复值

替换重复值的方法通常与数据的具体情况相关。例如，对于数值型的数据，可以使用fillna()函数或replace()函数，将重复值替换为平均值或其他值。对于分类数据，可以使用fillna()函数将重复值替换为前一行或后一行的数据。

例如，我们有一个数据集包含“年龄”和“身高”列，其中年龄有重复值，现在需要将重复值替换为平均值。

import pandas as pd
import numpy as np
df = pd.DataFrame({'年龄':[20,20,30,25,30,20],'身高':[160,165,170,168,172,165]})
mean_age = np.mean(df['年龄'])
df['年龄'] = df['年龄'].replace(20,mean_age)
df.drop_duplicates()

输出结果如下：

     年龄   身高
0  25.0  160
2  30.0  170
3  25.0  168
4  30.0  172

忽略重复值

在一些情况下，重复值可能对数据分析影响不大，可以忽略并保留在数据集中。例如，一些Web应用程序日志可能会生成大量相同的记录，如果将它们全部删除，可能会影响数据集的准确性。

import pandas as pd
df = pd.DataFrame({'姓名':['张三','李四','张三'],'年龄':[20,30,20]})
df.duplicated().sum()

输出结果为1，即有一个重复值。我们现在需要忽略这个重复值，并保留在数据集中。

import pandas as pd
df = pd.DataFrame({'姓名':['张三','李四','张三'],'年龄':[20,30,20]})
df.drop_duplicates(ignore_index=True)

设置ignore_index=True可以使得结果的行号连续输出。

总结

重复值在数据分析中是一个常见的问题，但是使用Pandas中的duplicated()函数和drop_duplicates()函数可以很容易地检测和处理这些问题。在处理重复值时，需要根据具体情况使用合适的方法，如删除、替换或忽略。