极客教程pandas agg count rows
在数据分析中，经常需要对数据集进行汇总统计，以便更好地理解数据的特征和趋势。Pandas 是一个强大的 Python 数据分析工具库，它提供了丰富的数据结构和数据操作方法，使得数据处理变得更加便捷和高效。本文将详细介绍如何使用 Pandas 的 agg 函数来进行行计数操作，这是数据分析中常见的需求之一。
1. Pandas 简介
Pandas 是基于 NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。Pandas 提供了大量能使我们快速便捷地处理数据的函数和方法。它的主要数据结构是 DataFrame，可以理解为一个关系型数据表格，其中包含多种类型的列。
2. DataFrame 和 Series
Pandas 中的主要两种数据结构是 DataFrame 和 Series。
- DataFrame 是一个表格型的数据结构，它包含一组有序的列，每列可以是不同的值类型（数值、字符串、布尔值等）。DataFrame 既有行索引也有列索引，它可以被看作是由 Series 组成的字典（共用同一个索引）。
- Series 是一个一维的数组型对象，它包含了一个值序列（与 NumPy 中的类型相似），并且包含了数据标签，称为索引。
3. 使用 agg 函数进行行计数
agg 是 aggregate 的缩写，该函数的功能是聚合，它允许使用一个或多个操作对数据集进行聚合操作。在 Pandas 中，agg 可以非常灵活地被用于多种数据聚合任务，其中之一就是计数（count）。
示例代码
以下是一些使用 Pandas agg 函数进行行计数的示例代码。每个示例都是独立的，可以直接运行。
示例 1: 创建 DataFrame 并计算每列的非空值数量
import pandas as pd
# 创建 DataFrame
df = pd.DataFrame({
'A': [1, 2, None, 4],
'B': ['pandasdataframe.com', 'example', None, 'data']
})
# 使用 agg 函数进行计数
result = df.agg("count")
print(result)
Output:
示例 2: 对指定列使用 count 函数
import pandas as pd
# 创建 DataFrame
df = pd.DataFrame({
'A': [1, 2, None, 4],
'B': ['pandasdataframe.com', 'example', None, 'data'],
'C': [None, None, 'pandasdataframe.com', 'test']
})
# 对列 B 使用 count 函数
result = df['B'].agg('count')
print(result)
Output:
示例 3: 对 DataFrame 使用多个聚合函数
import pandas as pd
# 创建 DataFrame
df = pd.DataFrame({
'A': [1, 2, None, 4],
'B': ['pandasdataframe.com', 'example', None, 'data'],
'C': [None, None, 'pandasdataframe.com', 'test']
})
# 对整个 DataFrame 使用 count 和 sum 函数
result = df.agg(['count', 'sum'])
print(result)
示例 4: 分组后对每组数据进行计数
import pandas as pd
# 创建 DataFrame
df = pd.DataFrame({
'Group': ['A', 'A', 'B', 'B'],
'Value': [1, 2, 3, 4],
'Website': ['pandasdataframe.com', 'example.com', 'pandasdataframe.com', 'example.com']
})
# 分组并计数
result = df.groupby('Group').agg('count')
print(result)
Output:
示例 5: 使用自定义函数进行聚合
import pandas as pd
# 创建 DataFrame
df = pd.DataFrame({
'Data': [1, 2, None, 4],
'Website': ['pandasdataframe.com', 'example', None, 'data']
})
# 定义一个自定义函数
def count_non_nulls(series):
return series.notnull().sum()
# 使用自定义函数进行聚合
result = df.agg(count_non_nulls)
print(result)
Output:
示例 6: 对不同列使用不同的聚合函数
import pandas as pd
# 创建 DataFrame
df = pd.DataFrame({
'A': [1, 2, None, 4],
'B': ['pandasdataframe.com', 'example', None, 'data'],
'C': [10, 20, 30, 40]
})
# 对不同列使用不同的聚合函数
result = df.agg({'A': 'count', 'C': 'sum'})
print(result)
Output:
示例 7: 在多层索引的情况下进行聚合
import pandas as pd
# 创建 DataFrame
df = pd.DataFrame({
'Group': ['A', 'A', 'B', 'B'],
'Subgroup': [1, 2, 1, 2],
'Data': [10, 20, 30, 40],
'Website': ['pandasdataframe.com', 'example.com', 'pandasdataframe.com', 'example.com']
})
# 设置多层索引
df.set_index(['Group', 'Subgroup'], inplace=True)
# 进行聚合
result = df.agg('count')
print(result)
Output:
示例 8: 使用 lambda 函数进行聚合
import pandas as pd
# 创建 DataFrame
df = pd.DataFrame({
'Data': [1, 2, None, 4],
'Website': ['pandasdataframe.com', 'example', None, 'data']
})
# 使用 lambda 函数进行聚合
result = df.agg(lambda x: x.count())
print(result)
Output:
示例 9: 聚合时排除某些列
import pandas as pd
# 创建 DataFrame
df = pd.DataFrame({
'A': [1, 2, None, 4],
'B': ['pandasdataframe.com', 'example', None, 'data'],
'C': [10, 20, 30, 40]
})
# 聚合时排除列 C
result = df[['A', 'B']].agg('count')
print(result)
Output:
示例 10: 对数据进行转置后聚合
import pandas as pd
# 创建 DataFrame
df = pd.DataFrame({
'A': [1, 2, None, 4],
'B': ['pandasdataframe.com', 'example', None, 'data'],
'C': [10, 20, 30, 40]
})
# 数据转置
df = df.T
# 进行聚合
result = df.agg('count')
print(result)
Output:
以上示例展示了使用 Pandas 的 `agg函数进行行计数的多种方法。每个示例都是独立的，可以直接运行，以便于理解和实践。
示例 11: 对特定条件的数据进行计数
import pandas as pd
# 创建 DataFrame
df = pd.DataFrame({
'A': [1, 2, None, 4],
'B': ['pandasdataframe.com', 'example', None, 'data'],
'C': [10, 20, 30, 40]
})
# 对列 A 中大于 1 的值进行计数
result = df[df['A'] > 1]['A'].agg('count')
print(result)
Output:
示例 12: 结合条件和分组进行聚合计数
import pandas as pd
# 创建 DataFrame
df = pd.DataFrame({
'Group': ['A', 'A', 'B', 'B'],
'Value': [1, 2, 3, 4],
'Website': ['pandasdataframe.com', 'example.com', 'pandasdataframe.com', 'example.com']
})
# 对 Group 分组，并计算每组中 Value 大于 2 的数量
result = df.groupby('Group').agg(lambda x: (x['Value'] > 2).sum())
print(result)
示例 13: 使用多个条件进行聚合
import pandas as pd
# 创建 DataFrame
df = pd.DataFrame({
'A': [1, 2, None, 4],
'B': ['pandasdataframe.com', 'example', None, 'data'],
'C': [10, 20, 30, 40]
})
# 使用多个条件进行聚合
result = df.agg({'A': lambda x: x[x > 1].count(), 'C': 'sum'})
print(result)
Output:
示例 14: 对日期数据进行计数
import pandas as pd
import numpy as np
# 创建 DataFrame
df = pd.DataFrame({
'Date': pd.date_range(start='2023-01-01', periods=4, freq='D'),
'Event': ['pandasdataframe.com', 'Event', 'pandasdataframe.com', 'Data']
})
# 对日期列进行计数
result = df['Date'].agg('count')
print(result)
Output:
示例 15: 结合 groupby 和 agg 对不同数据类型进行计数
import pandas as pd
# 创建 DataFrame
df = pd.DataFrame({
'Group': ['A', 'A', 'B', 'B'],
'Value': [1, 2, 3, 4],
'Website': ['pandasdataframe.com', 'example.com', 'pandasdataframe.com', 'example.com']
})
# 分组并对字符串类型的列进行计数
result = df.groupby('Group').agg({'Website': 'count'})
print(result)
Output:
示例 16: 使用 agg 对整个 DataFrame 进行计数
import pandas as pd
# 创建 DataFrame
df = pd.DataFrame({
'A': [1, 2, None, 4],
'B': ['pandasdataframe.com', 'example', None, 'data'],
'C': [10, 20, 30, 40]
})
# 对整个 DataFrame 使用 count 函数
result = df.agg('count')
print(result)
Output:
示例 17: 对多个列使用相同的聚合函数
import pandas as pd
# 创建 DataFrame
df = pd.DataFrame({
'A': [1, 2, None, 4],
'B': ['pandasdataframe.com', 'example', None, 'data'],
'C': [10, 20, 30, 40]
})
# 对多个列使用 count 函数
result = df[['A', 'B']].agg('count')
print(result)
Output:
示例 18: 使用 agg 和 notnull 结合进行非空值计数
import pandas as pd
# 创建 DataFrame
df = pd.DataFrame({
'A': [1, 2, None, 4],
'B': ['pandasdataframe.com', 'example', None, 'data'],
'C': [10, 20, 30, 40]
})
# 使用 notnull 和 count 结合进行非空值计数
result = df.agg(lambda x: x.notnull().sum())
print(result)
Output:
示例 19: 对特定列应用多个聚合函数
import pandas as pd
# 创建 DataFrame
df = pd.DataFrame({
'A': [1, 2, None, 4],
'B': ['pandasdataframe.com', 'example', None, 'data'],
'C': [10, 20, 30, 40]
})
# 对列 A 应用多个聚合函数
result = df['A'].agg(['count', lambda x: (x > 1).sum()])
print(result)
Output:
示例 20: 结合 groupby 和 agg 使用自定义函数进行聚合
import pandas as pd
# 创建 DataFrame
df = pd.DataFrame({
'Group': ['A', 'A', 'B', 'B'],
'Value': [1, 2, 3, 4],
'Website': ['pandasdataframe.com', 'example.com', 'pandasdataframe.com', 'example.com']
})
# 定义自定义聚合函数
def custom_count(series):
return series.count()
# 分组并使用自定义函数进行聚合
result = df.groupby('Group').agg(custom_count)
print(result)
Output:
以上示例展示了如何使用 Pandas 的 agg 函数来进行行计数，涵盖了从基本的单列计数到结合条件、分组和自定义函数的复杂聚合操作。通过这些示例，你可以更好地理解和掌握 Pandas 在数据聚合方面的强大功能。