当前位置：极客教程 > Pandas > Pandas 问答 > Pandas GroupBy 操作：如何添加和汇总列数据

Pandas GroupBy 操作：如何添加和汇总列数据

Pandas GroupBy 操作：如何添加和汇总列数据

参考：pandas groupby add sum column

Pandas是Python中强大的数据处理库，其中GroupBy操作是一个非常实用的功能，可以帮助我们对数据进行分组、汇总和分析。本文将详细介绍如何使用Pandas的GroupBy操作来添加和汇总列数据，包括基本概念、常用方法以及实际应用示例。

1. GroupBy的基本概念

GroupBy操作的核心思想是”拆分-应用-组合”。它首先将数据按照指定的一个或多个列进行分组（拆分），然后对每个分组应用特定的函数或操作（应用），最后将结果组合成一个新的DataFrame（组合）。

以下是一个简单的GroupBy示例：

import pandas as pd

# 创建示例数据
data = {
    'name': ['Alice', 'Bob', 'Charlie', 'Alice', 'Bob'],
    'city': ['New York', 'London', 'Paris', 'New York', 'London'],
    'sales': [100, 200, 300, 150, 250]
}
df = pd.DataFrame(data)

# 按name列进行分组，并计算sales列的总和
result = df.groupby('name')['sales'].sum()

print("GroupBy result from pandasdataframe.com:")
print(result)

Output:

Pandas GroupBy 操作：如何添加和汇总列数据

在这个例子中，我们首先创建了一个包含姓名、城市和销售额的DataFrame。然后，我们使用groupby('name')按姓名进行分组，并计算每个人的总销售额。

2. GroupBy后添加新列

有时，我们需要在分组后的结果中添加新的列。这可以通过多种方式实现，下面我们将介绍几种常用的方法。

2.1 使用agg()方法添加多个汇总列

agg()方法允许我们同时对多个列应用不同的聚合函数：

import pandas as pd

# 创建示例数据
data = {
    'product': ['A', 'B', 'A', 'B', 'A'],
    'category': ['X', 'X', 'Y', 'Y', 'X'],
    'sales': [100, 200, 150, 300, 120],
    'quantity': [10, 15, 12, 20, 8]
}
df = pd.DataFrame(data)

# 使用agg()方法添加多个汇总列
result = df.groupby('product').agg({
    'sales': ['sum', 'mean'],
    'quantity': ['sum', 'max']
})

print("Aggregation result from pandasdataframe.com:")
print(result)

Output:

Pandas GroupBy 操作：如何添加和汇总列数据

在这个例子中，我们按产品分组，并计算了销售额的总和和平均值，以及数量的总和和最大值。agg()方法允许我们为不同的列指定不同的聚合函数。

2.2 使用transform()方法添加组内计算列

transform()方法可以将聚合结果广播回原始DataFrame的形状，这对于添加基于组计算的新列非常有用：

import pandas as pd

# 创建示例数据
data = {
    'team': ['A', 'A', 'B', 'B', 'A'],
    'player': ['P1', 'P2', 'P3', 'P4', 'P5'],
    'score': [10, 15, 12, 8, 20]
}
df = pd.DataFrame(data)

# 使用transform()添加组内平均分数列
df['team_avg_score'] = df.groupby('team')['score'].transform('mean')

print("DataFrame with team average score from pandasdataframe.com:")
print(df)

Output:

Pandas GroupBy 操作：如何添加和汇总列数据

在这个例子中，我们为每个球员添加了他所在团队的平均分数。transform()方法确保了新列的长度与原始DataFrame相同，每个球员都得到了他所在团队的平均分数。

2.3 使用apply()方法进行复杂的组内计算

对于更复杂的组内计算，我们可以使用apply()方法并定义自定义函数：

import pandas as pd

# 创建示例数据
data = {
    'department': ['IT', 'HR', 'IT', 'HR', 'IT'],
    'employee': ['E1', 'E2', 'E3', 'E4', 'E5'],
    'salary': [5000, 4000, 6000, 4500, 5500]
}
df = pd.DataFrame(data)

# 定义自定义函数计算工资差异
def salary_diff(group):
    return group['salary'] - group['salary'].mean()

# 使用apply()方法添加工资差异列
df['salary_diff'] = df.groupby('department')['salary'].apply(salary_diff)

print("DataFrame with salary difference from pandasdataframe.com:")
print(df)

在这个例子中，我们定义了一个自定义函数salary_diff，它计算每个员工的工资与其所在部门平均工资的差异。然后，我们使用apply()方法将这个函数应用到每个部门组。

3. GroupBy后进行列的汇总计算

GroupBy操作最常见的用途之一就是对分组后的数据进行汇总计算。Pandas提供了多种方法来实现这一目的。

3.1 使用sum()方法计算列总和

import pandas as pd

# 创建示例数据
data = {
    'category': ['A', 'B', 'A', 'B', 'A'],
    'subcategory': ['X', 'X', 'Y', 'Y', 'X'],
    'sales': [100, 200, 150, 300, 120]
}
df = pd.DataFrame(data)

# 使用sum()计算每个类别的总销售额
result = df.groupby('category')['sales'].sum()

print("Sum of sales by category from pandasdataframe.com:")
print(result)

Output:

Pandas GroupBy 操作：如何添加和汇总列数据

这个例子展示了如何使用sum()方法计算每个类别的总销售额。这是最简单和最常用的汇总操作之一。

3.2 使用mean()方法计算列平均值

import pandas as pd

# 创建示例数据
data = {
    'product': ['A', 'B', 'A', 'B', 'A'],
    'store': ['S1', 'S1', 'S2', 'S2', 'S1'],
    'price': [10, 15, 12, 18, 11]
}
df = pd.DataFrame(data)

# 使用mean()计算每个产品的平均价格
result = df.groupby('product')['price'].mean()

print("Average price by product from pandasdataframe.com:")
print(result)

Output:

Pandas GroupBy 操作：如何添加和汇总列数据

这个例子展示了如何使用mean()方法计算每个产品的平均价格。这对于了解产品的整体定价情况非常有用。

3.3 使用count()方法计算组内元素数量

import pandas as pd

# 创建示例数据
data = {
    'city': ['New York', 'London', 'Paris', 'New York', 'London'],
    'visitor': ['V1', 'V2', 'V3', 'V4', 'V5']
}
df = pd.DataFrame(data)

# 使用count()计算每个城市的访客数量
result = df.groupby('city')['visitor'].count()

print("Visitor count by city from pandasdataframe.com:")
print(result)

Output:

Pandas GroupBy 操作：如何添加和汇总列数据

这个例子展示了如何使用count()方法计算每个城市的访客数量。这对于了解不同城市的受欢迎程度很有帮助。

3.4 使用max()和min()方法找出最大和最小值

import pandas as pd

# 创建示例数据
data = {
    'student': ['S1', 'S2', 'S1', 'S2', 'S1'],
    'subject': ['Math', 'Math', 'English', 'English', 'Science'],
    'score': [85, 90, 78, 88, 92]
}
df = pd.DataFrame(data)

# 使用max()和min()找出每个学生的最高和最低分数
result = df.groupby('student')['score'].agg(['max', 'min'])

print("Max and min scores by student from pandasdataframe.com:")
print(result)

Output:

Pandas GroupBy 操作：如何添加和汇总列数据

这个例子展示了如何使用max()和min()方法找出每个学生的最高和最低分数。这对于了解学生的成绩范围非常有用。

4. 高级GroupBy操作

除了基本的汇总操作，Pandas还提供了一些高级的GroupBy功能，可以帮助我们进行更复杂的数据分析。

4.1 多列分组

有时我们需要根据多个列进行分组：

import pandas as pd

# 创建示例数据
data = {
    'year': [2020, 2020, 2021, 2021, 2020],
    'quarter': [1, 2, 1, 2, 1],
    'sales': [1000, 1200, 1100, 1300, 1050]
}
df = pd.DataFrame(data)

# 按年份和季度分组，计算销售总额
result = df.groupby(['year', 'quarter'])['sales'].sum()

print("Sales by year and quarter from pandasdataframe.com:")
print(result)

Output:

Pandas GroupBy 操作：如何添加和汇总列数据

这个例子展示了如何按年份和季度进行分组，并计算每个组合的销售总额。这对于分析时间序列数据非常有用。

4.2 使用自定义聚合函数

有时标准的聚合函数可能无法满足我们的需求，这时我们可以定义自己的聚合函数：

import pandas as pd

# 创建示例数据
data = {
    'product': ['A', 'B', 'A', 'B', 'A'],
    'sales': [100, 200, 150, 300, 120]
}
df = pd.DataFrame(data)

# 定义自定义聚合函数
def sales_range(x):
    return x.max() - x.min()

# 使用自定义函数进行聚合
result = df.groupby('product')['sales'].agg(['sum', 'mean', sales_range])

print("Custom aggregation result from pandasdataframe.com:")
print(result)

Output:

Pandas GroupBy 操作：如何添加和汇总列数据

在这个例子中，我们定义了一个sales_range函数来计算销售额的范围（最大值减最小值）。然后，我们将这个自定义函数与标准的sum和mean函数一起使用。

4.3 使用groupby().filter()进行过滤

filter()方法允许我们根据组级别的条件来过滤数据：

import pandas as pd

# 创建示例数据
data = {
    'team': ['A', 'A', 'B', 'B', 'C'],
    'player': ['P1', 'P2', 'P3', 'P4', 'P5'],
    'score': [10, 15, 12, 8, 20]
}
df = pd.DataFrame(data)

# 过滤出平均分数大于10的团队
result = df.groupby('team').filter(lambda x: x['score'].mean() > 10)

print("Filtered DataFrame from pandasdataframe.com:")
print(result)

Output:

Pandas GroupBy 操作：如何添加和汇总列数据

这个例子展示了如何使用filter()方法来选择平均分数大于10的团队。这对于根据组级别的条件来筛选数据非常有用。

4.4 使用groupby().transform()进行组内标准化

transform()方法不仅可以用于添加新列，还可以用于进行组内的数据标准化：

import pandas as pd

# 创建示例数据
data = {
    'department': ['IT', 'HR', 'IT', 'HR', 'IT'],
    'employee': ['E1', 'E2', 'E3', 'E4', 'E5'],
    'salary': [5000, 4000, 6000, 4500, 5500]
}
df = pd.DataFrame(data)

# 进行组内标准化
df['salary_normalized'] = df.groupby('department')['salary'].transform(lambda x: (x - x.mean()) / x.std())

print("DataFrame with normalized salary from pandasdataframe.com:")
print(df)

Output:

Pandas GroupBy 操作：如何添加和汇总列数据

这个例子展示了如何使用transform()方法对每个部门的工资进行标准化处理。这对于比较不同部门间的工资分布非常有用。

5. GroupBy操作的性能优化

当处理大型数据集时，GroupBy操作可能会变得很慢。以下是一些提高GroupBy操作性能的技巧：

5.1 使用categoricals

如果分组键是字符串，将其转换为categorical类型可以显著提高性能：

import pandas as pd

# 创建示例数据
data = {
    'category': ['A', 'B', 'A', 'B', 'A'] * 1000,
    'value': range(5000)
}
df = pd.DataFrame(data)

# 将category列转换为categorical类型
df['category'] = df['category'].astype('category')

# 进行GroupBy操作
result = df.groupby('category')['value'].sum()

print("GroupBy result with categorical from pandasdataframe.com:")
print(result)

在这个例子中，我们将’category’列转换为categorical类型。对于大型数据集，这可以显著提高GroupBy操作的速度。

5.2 使用numba加速

对于自定义聚合函数，我们可以使用numba来加速计算：

import pandas as pd
import numpy as np
from numba import jit

# 创建示例数据
np.random.seed(0)
data = {
    'group': np.random.choice(['A', 'B', 'C'], size=100000),
    'value': np.random.randn(100000)
}
df = pd.DataFrame(data)

# 使用numba定义加速函数
@jit(nopython=True)
def custom_agg(values):
    return np.mean(values) * np.std(values)

# 进行GroupBy操作
result = df.groupby('group')['value'].agg(custom_agg)

print("GroupBy result with numba from pandasdataframe.com:")
print(result)

在这个例子中，我们使用numba的@jit装饰器来加速自定义聚合函数。对于大型数据集和复杂的计算，这可以显著提高性能。

6. GroupBy操作的常见陷阱和注意事项

尽管GroupBy操作非常强大，但在使用时也需要注意一些常见的陷阱：

6.1 处理缺失值

GroupBy操作默认会排除缺失值，这可能会导致意外的结果：

import pandas as pd
import numpy as np

# 创建包含缺失值的示例数据
data = {
    'group': ['A', 'A', 'B', 'B', 'A'],
    'value': [1, np.nan, 3, 4, 5]
}
df = pd.DataFrame(data)

# 进行GroupBy操作
result = df.groupby('group')['value'].sum()

print("GroupBy result with missing values from pandasdataframe.com:")
print(result)

Output:

Pandas GroupBy 操作：如何添加和汇总列数据

在这个例子中，’A’组的和不包括NaN值。如果你想包括NaN值，可以使用df.groupby('group')['value'].sum(min_count=1)。

6.2 处理重复的索引

GroupBy操作后可能会产生重复的索引，这在进行后续操作时可能会引起问题：

import pandas as pd

# 创建示例数据
data = {
    'group': ['A', 'B', 'A', 'B'],
    'subgroup': ['X', 'X', 'Y', 'Y'],
    'value': [1, 2, 3, 4]
}
df = pd.DataFrame(data)

# 进行多级GroupBy操作
result = df.groupby(['group', 'subgroup']).sum()

print("Multi-level GroupBy result from pandasdataframe.com:")
print(result)

# 尝试访问特定行
try:
    print(result.loc['A'])
except KeyError:
    print("KeyError occurred when trying to access 'A'")

Output:

Pandas GroupBy 操作：如何添加和汇总列数据

在这个例子中，我们无法直接使用result.loc['A']来访问’A’组的数据，因为索引是多级的。正确的访问方式应该是result.loc['A', :]。

6.3 理解GroupBy对象的惰性求值

GroupBy对象是惰性的，只有在调用聚合方法时才会真正执行计算：

import pandas as pd

# 创建示例数据
data = {
    'group': ['A', 'B', 'A', 'B', 'A'],
    'value': [1, 2, 3, 4, 5]
}
df = pd.DataFrame(data)

# 创建GroupBy对象
grouped = df.groupby('group')

print("GroupBy object from pandasdataframe.com:")
print(grouped)

# 执行聚合操作
result = grouped.sum()

print("Aggregation result:")
print(result)

Output:

Pandas GroupBy 操作：如何添加和汇总列数据

在这个例子中，grouped对象本身并不包含计算结果，只有在调用sum()方法时才会执行实际的聚合操作。

7. 高级应用：时间序列数据的GroupBy操作

对于时间序列数据，Pandas提供了特殊的GroupBy功能：

import pandas as pd
import numpy as np

# 创建时间序列数据
dates = pd.date_range('20210101', periods=100)
data = {
    'date': dates,
    'value': np.random.randn(100)
}
df = pd.DataFrame(data)

# 按月份分组
monthly_avg = df.groupby(df['date'].dt.to_period('M'))['value'].mean()

print("Monthly average from pandasdataframe.com:")
print(monthly_avg)

Output:

Pandas GroupBy 操作：如何添加和汇总列数据

这个例子展示了如何对时间序列数据按月份进行分组和计算平均值。dt.to_period('M')方法将日期转换为月份周期，使得我们可以轻松地按月份进行分组。

8. 结合其他Pandas功能的GroupBy操作

GroupBy操作可以与Pandas的其他功能结合使用，以实现更复杂的数据分析任务。

8.1 结合merge操作

有时我们需要在GroupBy操作后将结果与原始数据合并：

import pandas as pd

# 创建示例数据
data = {
    'employee': ['E1', 'E2', 'E3', 'E4', 'E5'],
    'department': ['IT', 'HR', 'IT', 'HR', 'IT'],
    'salary': [5000, 4000, 6000, 4500, 5500]
}
df = pd.DataFrame(data)

# 计算每个部门的平均工资
dept_avg = df.groupby('department')['salary'].mean().reset_index()
dept_avg.columns = ['department', 'dept_avg_salary']

# 将结果与原始数据合并
result = pd.merge(df, dept_avg, on='department')

print("Merged result from pandasdataframe.com:")
print(result)

Output:

Pandas GroupBy 操作：如何添加和汇总列数据

这个例子展示了如何计算每个部门的平均工资，然后将结果合并回原始数据框，使得我们可以比较每个员工的工资与其所在部门的平均工资。

8.2 结合pivot_table操作

GroupBy操作可以与pivot_table结合使用，以创建更复杂的汇总表：

import pandas as pd
import numpy as np

# 创建示例数据
data = {
    'date': pd.date_range('20210101', periods=100),
    'product': np.random.choice(['A', 'B', 'C'], 100),
    'store': np.random.choice(['S1', 'S2'], 100),
    'sales': np.random.randint(100, 1000, 100)
}
df = pd.DataFrame(data)

# 创建透视表
pivot = pd.pivot_table(df, values='sales', index=['date'], 
                       columns=['product', 'store'], aggfunc='sum')

print("Pivot table from pandasdataframe.com:")
print(pivot.head())

Output:

Pandas GroupBy 操作：如何添加和汇总列数据

这个例子展示了如何创建一个复杂的透视表，显示每天每个产品在每个商店的销售情况。这种操作结合了GroupBy和透视表的功能。

9. 总结

Pandas的GroupBy操作是一个强大的工具，可以帮助我们高效地对数据进行分组、汇总和分析。通过本文的详细介绍，我们了解了GroupBy的基本概念、如何添加和汇总列数据、高级GroupBy操作、性能优化技巧、常见陷阱以及与其他Pandas功能的结合使用。

在实际的数据分析工作中，熟练运用GroupBy操作可以大大提高我们处理和分析数据的效率。无论是简单的数据汇总，还是复杂的多维度分析，GroupBy都能提供强大的支持。

然而，需要注意的是，在处理大型数据集时，GroupBy操作可能会变得很慢。在这种情况下，可以考虑使用本文提到的性能优化技巧，或者探索其他更适合大规模数据处理的工具，如Dask或PySpark。

Python教程

Python 教程

Python 教程
Tkinter 教程

Tkinter 教程
Pandas 教程

Pandas 教程
NumPy 教程

NumPy 教程
Flask 教程

Flask 教程
Django 教程

Django 教程
PySpark 教程

PySpark 教程
wxPython 教程

wxPython 教程
SymPy 教程

SymPy 教程
Seaborn 教程

Seaborn 教程
SciPy 教程

SciPy 教程
RxPY 教程

RxPY 教程
Pycharm 教程

Pycharm 教程
Pygame 教程

Pygame 教程
PyGTK 教程

PyGTK 教程
PyQt 教程

PyQt 教程
PyQt5 教程

PyQt5 教程
PyTorch 教程

PyTorch 教程
Matplotlib 教程

Matplotlib 教程
Web2py 教程

Web2py 教程
BeautifulSoup 教程

BeautifulSoup 教程

Java教程

Java 教程

Java 教程

Web教程

HTML 教程

HTML 教程
CSS 教程

CSS 教程
CSS3 教程

CSS3 教程
jQuery 教程

jQuery 教程
Ajax 教程

Ajax 教程
AngularJS 教程

AngularJS 教程
TypeScript 教程

TypeScript 教程
WordPress 教程

WordPress 教程
Laravel 教程

Laravel 教程
Next.js 教程

Next.js 教程
PhantomJS 教程

PhantomJS 教程
Three.js 教程

Three.js 教程
Underscore.JS 教程

Underscore.JS 教程
WebGL 教程

WebGL 教程
WebRTC 教程

WebRTC 教程
VueJS 教程

VueJS 教程

数据库教程

SQL 教程

SQL 教程
MySQL 教程

MySQL 教程
MongoDB 教程

MongoDB 教程
PostgreSQL 教程

PostgreSQL 教程
SQLite 教程

SQLite 教程
Redis 教程

Redis 教程
MariaDB 教程

MariaDB 教程

图形图像教程

Vulkan 教程

Vulkan 教程
OpenCV 教程

OpenCV 教程

大数据教程

R语言 教程

R语言 教程

开发工具教程

Git 教程

Git 教程
VSCode 教程

VSCode 教程
Docker 教程

Docker 教程
Gerrit 教程

Gerrit 教程
Excel 教程

Excel 教程

计算机教程

Go语言 教程

Go语言 教程
C++ 教程

C++ 教程

Pandas 精品教程