Pandas 如何计算Pandas dataframe中的重复行

在本文中，我们将介绍如何使用Pandas计算Pandas dataframe中的重复行。Pandas是Python数据分析，数据处理和数据可视化的一个重要库。Pandas提供了一个DataFrame对象，它是由行和列构成的表格数据结构，类似于Excel电子表格。有时，我们需要找出Pandas dataframe中的重复行，并计算它们的数量，这就需要使用Pandas的一些函数来实现。

阅读更多：Pandas 教程

什么是重复行？

在Pandas中，如果两个或多个行的值完全相同，则它们被称为重复行。例如，下面是一个简单的Pandas dataframe：

import pandas as pd

df = pd.DataFrame({'A': [1, 2, 3, 4, 5], 'B': ['a', 'b', 'c', 'a', 'c']})

print(df)

它将输出以下内容：

   A  B
0  1  a
1  2  b
2  3  c
3  4  a
4  5  c

在这个dataframe中，第1行和第4行都包含’a’，因此它们被视为重复行。

计算重复行的数量

要计算Pandas dataframe中的重复行的数量，我们可以使用Pandas的duplicated()函数和sum()函数。duplicated()函数返回一个布尔值的Series，指示每一行是否为重复行。我们可以使用sum()函数来计算为True的值的数量，即重复行的数量。下面是一个示例：

import pandas as pd

df = pd.DataFrame({'A': [1, 2, 3, 4, 5], 'B': ['a', 'b', 'c', 'a', 'c']})
duplicates = df.duplicated().sum()

print("There are", duplicates, "duplicate rows in the dataframe.")

它将输出以下内容：

There are 1 duplicate rows in the dataframe.

删除重复行

除了计算重复行的数量之外，我们可能还需要删除它们。我们可以使用Pandas的drop_duplicates()函数来删除重复行。drop_duplicates()函数返回一个新的dataframe，其中删除了所有重复的行。下面是一个示例：

import pandas as pd

df = pd.DataFrame({'A': [1, 2, 3, 4, 5], 'B': ['a', 'b', 'c', 'a', 'c']})
df = df.drop_duplicates()

print(df)

它将输出以下内容：

   A  B
0  1  a
1  2  b
2  3  c
4  5  c

在这个dataframe中，第1行和第4行，它们包含’a’和’c’，被视为重复行，并被删除了。

计算重复行的子集

有时，我们只需要查找特定列的重复值。这可以通过在duplicated()函数中指定列名来实现。例如，假设我们要找出Pandas dataframe中列”B”中的重复行。下面是一个示例：

import pandas as pd

df = pd.DataFrame({'A': [1, 2, 3, 4, 5], 'B': ['a', 'b', 'c', 'a', 'c']})
duplicates = df.duplicated(subset=['B']).sum()

print("There are", duplicates, "duplicate rows in column 'B'.")

它将输出以下内容：

There are 2 duplicate rows in column 'B'.

在这个dataframe中，列”B”包含两个重复的值：’a’和’c’。

总结

本文介绍了使用Pandas计算重复行的数量和删除重复行的方法。我们还介绍了如何计算dataframe中特定列的重复行。这些函数对于清理和处理数据非常有用，尤其是当数据较大且存在重复值时。如果您想查找更多有关Pandas的信息，请查看Pandas官方文档。