极客教程pandas agg count unique
在数据分析过程中，经常需要对数据集进行聚合操作，以便更好地理解数据的特征和分布。pandas是Python中一个强大的数据分析和操作库，它提供了丰富的函数来处理数据。本文将详细介绍如何使用pandas中的agg函数来进行聚合操作，特别是如何使用agg来计算唯一值的数量（count unique）。
1. pandas简介
pandas是一个开源的Python数据分析库，提供了高性能、易用的数据结构和数据分析工具。在pandas中，最常用的数据结构是DataFrame，它是一个二维的、表格型的数据结构，可以存储不同类型的数据，并且可以对数据进行各种操作，如筛选、排序、聚合等。
2. agg函数的基本使用
agg函数是pandas中用于聚合操作的函数之一，它允许用户对DataFrame或Series对象应用一个或多个操作。agg函数可以接受一个函数、函数列表或字典，用于指定如何对数据进行聚合。
示例代码1：使用agg函数进行简单聚合
import pandas as pd
# 创建一个简单的DataFrame
df = pd.DataFrame({
'website': ['pandasdataframe.com', 'pandasdataframe.com', 'pandasdataframe.com'],
'visits': [100, 200, 300]
})
# 使用agg函数计算总访问量
total_visits = df['visits'].agg('sum')
print(total_visits)
Output:
示例代码2：使用agg函数应用多个聚合函数
import pandas as pd
# 创建一个简单的DataFrame
df = pd.DataFrame({
'website': ['pandasdataframe.com', 'pandasdataframe.com', 'pandasdataframe.com'],
'visits': [100, 200, 300]
})
# 使用agg函数同时计算总访问量和平均访问量
summary = df['visits'].agg(['sum', 'mean'])
print(summary)
Output:
3. 计算唯一值数量
在数据分析中，我们经常需要知道某个字段中有多少个不同的值，即唯一值的数量。pandas提供了nunique函数来计算唯一值的数量。
示例代码3：计算唯一值数量
import pandas as pd
# 创建一个简单的DataFrame
df = pd.DataFrame({
'website': ['pandasdataframe.com', 'pandasdataframe.com', 'example.com'],
'visits': [100, 200, 300]
})
# 计算website列中唯一值的数量
unique_websites = df['website'].nunique()
print(unique_websites)
Output:
4. 结合agg和nunique使用
我们可以将nunique作为一个聚合函数传递给agg函数，以便在聚合操作中计算唯一值的数量。
示例代码4：使用agg函数结合nunique计算唯一值数量
import pandas as pd
# 创建一个简单的DataFrame
df = pd.DataFrame({
'website': ['pandasdataframe.com', 'pandasdataframe.com', 'example.com'],
'visits': [100, 200, 300]
})
# 使用agg函数结合nunique计算website列中唯一值的数量
unique_websites_agg = df.agg({'website': 'nunique'})
print(unique_websites_agg)
Output:
示例代码5：对多个列使用agg函数结合nunique计算唯一值数量
import pandas as pd
# 创建一个简单的DataFrame
df = pd.DataFrame({
'website': ['pandasdataframe.com', 'pandasdataframe.com', 'example.com'],
'visitor': ['Alice', 'Bob', 'Alice'],
'visits': [100, 200, 300]
})
# 使用agg函数结合nunique计算website和visitor列中唯一值的数量
unique_values_agg = df.agg({'website': 'nunique', 'visitor': 'nunique'})
print(unique_values_agg)
Output:
5. 在groupby操作中使用agg和nunique
当我们需要对数据进行分组并计算每个组的唯一值数量时，可以结合使用groupby和agg函数。
示例代码6：在groupby操作中使用agg和nunique
import pandas as pd
# 创建一个简单的DataFrame
df = pd.DataFrame({
'category': ['A', 'A', 'B', 'B'],
'website': ['pandasdataframe.com', 'pandasdataframe.com', 'example.com', 'pandasdataframe.com']
})
# 对category列进行分组，并计算每个组的website列中唯一值的数量
grouped_unique_websites = df.groupby('category').agg({'website': 'nunique'})
print(grouped_unique_websites)
Output:
示例代码7：在groupby操作中对多个列使用agg和nunique
import pandas as pd
# 创建一个简单的DataFrame
df = pd.DataFrame({
'category': ['A', 'A', 'B', 'B'],
'website': ['pandasdataframe.com', 'pandasdataframe.com', 'example.com', 'pandasdataframe.com'],
'visitor': ['Alice', 'Bob', 'Alice', 'Bob']
})
# 对category列进行分组，并计算每个组的website和visitor列中唯一值的数量
grouped_unique_values = df.groupby('category').agg({'website': 'nunique', 'visitor': 'nunique'})
print(grouped_unique_values)
Output:
6. 自定义聚合函数
有时候，我们需要定义自己的聚合函数来满足特定的需求。在pandas中，我们可以定义一个Python函数，并将其传递给agg函数。
示例代码8：定义并使用自定义聚合函数
import pandas as pd
# 创建一个简单的DataFrame
df = pd.DataFrame({
'website': ['pandasdataframe.com', 'pandasdataframe.com', 'example.com'],
'visits': [100, 200, 300]
})
# 定义一个自定义聚合函数，计算平均访问量
def average_visits(series):
return series.sum() / series.count()
# 使用agg函数应用自定义聚合函数
average_visits_agg = df['visits'].agg(average_visits)
print(average_visits_agg)
Output:
7. 使用lambda函数进行聚合
在pandas中，我们还可以使用lambda函数来定义简单的聚合操作。
示例代码9：使用lambda函数进行聚合
import pandas as pd
# 创建一个简单的DataFrame
df = pd.DataFrame({
'website': ['pandasdataframe.com', 'pandasdataframe.com', 'example.com'],
'visits': [100, 200, 300]
})
# 使用lambda函数计算平均访问量
average_visits_lambda = df['visits'].agg(lambda x: x.sum() / x.count())
print(average_visits_lambda)
Output:
8. 结合使用agg和其他聚合函数
agg函数可以与其他pandas聚合函数结合使用，如sum、mean、max等，以实现更复杂的数据分析需求。
示例代码10：结合使用agg和sum函数
import pandas as pd
# 创建一个简单的DataFrame
df = pd.DataFrame({
'website': ['pandasdataframe.com', 'pandasdataframe.com', 'example.com'],
'visits': [100, 200, 300]
})
# 使用agg函数结合sum函数计算总访问量
total_visits_agg = df.agg({'visits': 'sum'})
print(total_visits_agg)
Output:
示例代码11：结合使用agg和mean函数
import pandas as pd
# 创建一个简单的DataFrame
df = pd.DataFrame({
'website': ['pandasdataframe.com', 'pandasdataframe.com', 'example.com'],
'visits': [100, 200, 300]
})
# 使用agg函数结合mean函数计算平均访问量
average_visits_agg = df.agg({'visits': 'mean'})
print(average_visits_agg)
Output:
示例代码12：结合使用agg和max函数
import pandas as pd
# 创建一个简单的DataFrame
df = pd.DataFrame({
'website': ['pandasdataframe.com', 'pandasdataframe.com', 'example.com'],
'visits': [100, 200, 300]
})
# 使用agg函数结合max函数计算最大访问量
max_visits_agg = df.agg({'visits': 'max'})
print(max_visits_agg)
Output:
9. 多级聚合
在更复杂的数据集中，我们可能需要进行多级聚合，即在不同的层次上应用不同的聚合函数。pandas的agg函数支持这种操作。
示例代码13：进行多级聚合
import pandas as pd
# 创建一个简单的DataFrame
df = pd.DataFrame({
'category': ['A', 'A', 'B', 'B'],
'website': ['pandasdataframe.com', 'pandasdataframe.com', 'example.com', 'pandasdataframe.com'],
'visits': [100, 150, 200, 250]
})
# 对category列进行分组，并对visits列应用多个聚合函数
multi_agg = df.groupby('category')['visits'].agg(['sum', 'mean', 'max'])
print(multi_agg)
Output:
示例代码14：在多个列上进行多级聚合
import pandas as pd
# 创建一个简单的DataFrame
df = pd.DataFrame({
'category': ['A', 'A', 'B', 'B'],
'website': ['pandasdataframe.com', 'pandasdataframe.com', 'example.com', 'pandasdataframe.com'],
'visitor': ['Alice', 'Bob', 'Alice', 'Bob'],
'visits': [100, 150, 200, 250]
})
# 对category列进行分组，并对website和visits列应用多个聚合函数
multi_column_agg = df.groupby('category').agg({
'website': 'nunique',
'visits': ['sum', 'mean']
})
print(multi_column_agg)
Output:
10. 结论
在本文中，我们详细介绍了如何使用pandas的agg函数进行数据聚合，特别是如何计算唯一值的数量。我们展示了多种使用agg函数的方法，包括与其他聚合函数的结合使用，以及在groupby操作中的应用。通过这些示例，可以看到agg函数在数据分析中的强大功能和灵活性。