当前位置：极客教程 > Pandas > Pandas 问答 > Pandas中Groupby和Pivot的深入对比与应用

Pandas中Groupby和Pivot的深入对比与应用

Pandas中Groupby和Pivot的深入对比与应用

参考：pandas groupby vs pivot

Pandas是Python中最常用的数据处理库之一，它提供了强大的数据操作和分析工具。在处理复杂的数据集时，我们经常需要对数据进行分组、聚合或重塑。Pandas中的groupby和pivot函数是实现这些操作的两个重要工具。本文将深入探讨这两个函数的使用方法、区别和应用场景，帮助读者更好地理解和运用这些强大的数据处理工具。

1. Groupby简介

Groupby是Pandas中用于数据分组和聚合的核心功能。它允许我们按照一个或多个列对数据进行分组，然后对每个分组应用聚合函数。

1.1 基本用法

让我们从一个简单的例子开始：

import pandas as pd

# 创建示例数据
data = {
    'website': ['pandasdataframe.com', 'pandasdataframe.com', 'pandasdataframe.com', 'pandasdataframe.com'],
    'category': ['A', 'B', 'A', 'B'],
    'visits': [100, 150, 200, 250]
}
df = pd.DataFrame(data)

# 使用groupby按category分组并计算visits的平均值
result = df.groupby('category')['visits'].mean()
print(result)

Output:

Pandas中Groupby和Pivot的深入对比与应用

在这个例子中，我们首先创建了一个包含网站访问数据的DataFrame。然后，我们使用groupby按’category’列进行分组，并计算每个分组中’visits’列的平均值。

1.2 多列分组

Groupby支持多列分组，这在处理复杂数据时非常有用：

import pandas as pd

# 创建示例数据
data = {
    'website': ['pandasdataframe.com', 'pandasdataframe.com', 'pandasdataframe.com', 'pandasdataframe.com'],
    'category': ['A', 'B', 'A', 'B'],
    'subcategory': ['X', 'X', 'Y', 'Y'],
    'visits': [100, 150, 200, 250]
}
df = pd.DataFrame(data)

# 使用多列groupby
result = df.groupby(['category', 'subcategory'])['visits'].sum()
print(result)

Output:

Pandas中Groupby和Pivot的深入对比与应用

这个例子展示了如何使用多列进行分组。我们按’category’和’subcategory’进行分组，然后计算每个组合的访问量总和。

1.3 聚合函数

Groupby支持多种聚合函数，如sum、mean、count等。我们还可以同时应用多个聚合函数：

import pandas as pd

# 创建示例数据
data = {
    'website': ['pandasdataframe.com', 'pandasdataframe.com', 'pandasdataframe.com', 'pandasdataframe.com'],
    'category': ['A', 'B', 'A', 'B'],
    'visits': [100, 150, 200, 250],
    'duration': [10, 15, 20, 25]
}
df = pd.DataFrame(data)

# 使用多个聚合函数
result = df.groupby('category').agg({
    'visits': ['sum', 'mean'],
    'duration': ['min', 'max']
})
print(result)

Output:

Pandas中Groupby和Pivot的深入对比与应用

在这个例子中，我们对’visits’列应用了sum和mean函数，对’duration’列应用了min和max函数。这种方法允许我们在一次操作中获得多种统计信息。

2. Pivot简介

Pivot是Pandas中用于重塑数据的函数。它可以将长格式（long format）的数据转换为宽格式（wide format），使数据更易于分析和可视化。

2.1 基本用法

让我们看一个pivot的基本用法：

import pandas as pd

# 创建示例数据
data = {
    'date': ['2023-01-01', '2023-01-01', '2023-01-02', '2023-01-02'],
    'product': ['A', 'B', 'A', 'B'],
    'sales': [100, 150, 200, 250]
}
df = pd.DataFrame(data)

# 使用pivot重塑数据
result = df.pivot(index='date', columns='product', values='sales')
print(result)

Output:

Pandas中Groupby和Pivot的深入对比与应用

在这个例子中，我们创建了一个包含日期、产品和销售额的DataFrame。然后，我们使用pivot函数将数据重塑，使得每个产品成为一个单独的列，日期作为索引。

2.2 处理重复值

当pivot遇到重复值时，会抛出错误。我们可以使用pivot_table来处理这种情况：

import pandas as pd

# 创建包含重复值的示例数据
data = {
    'date': ['2023-01-01', '2023-01-01', '2023-01-01', '2023-01-02'],
    'product': ['A', 'A', 'B', 'B'],
    'sales': [100, 120, 150, 250]
}
df = pd.DataFrame(data)

# 使用pivot_table处理重复值
result = df.pivot_table(index='date', columns='product', values='sales', aggfunc='mean')
print(result)

Output:

Pandas中Groupby和Pivot的深入对比与应用

在这个例子中，我们使用pivot_table而不是pivot。pivot_table允许我们指定一个聚合函数（这里是’mean’）来处理重复值。

2.3 多个值列

Pivot还支持多个值列：

import pandas as pd

# 创建包含多个值列的示例数据
data = {
    'date': ['2023-01-01', '2023-01-01', '2023-01-02', '2023-01-02'],
    'product': ['A', 'B', 'A', 'B'],
    'sales': [100, 150, 200, 250],
    'quantity': [10, 15, 20, 25]
}
df = pd.DataFrame(data)

# 使用pivot_table处理多个值列
result = df.pivot_table(index='date', columns='product', values=['sales', 'quantity'])
print(result)

Output:

Pandas中Groupby和Pivot的深入对比与应用

这个例子展示了如何使用pivot_table处理多个值列。结果将包含sales和quantity的分层列。

3. Groupby vs Pivot：主要区别

虽然groupby和pivot都可以用于数据重组，但它们有一些关键的区别：

  1. 功能：
    • Groupby主要用于数据分组和聚合。
    • Pivot主要用于数据重塑，将长格式数据转换为宽格式。
  2. 输出格式：
    • Groupby通常产生一个Series或DataFrame，其中索引是分组键。
    • Pivot产生一个新的DataFrame，其中列是原始数据中的唯一值。
  3. 灵活性：
    • Groupby更灵活，可以应用各种聚合函数。
    • Pivot主要用于重新排列数据，不直接支持复杂的聚合操作。
  4. 处理重复值：
    • Groupby可以自然地处理重复值。
    • 基本的pivot函数不能处理重复值，需要使用pivot_table。

让我们通过一个例子来说明这些区别：

import pandas as pd

# 创建示例数据
data = {
    'date': ['2023-01-01', '2023-01-01', '2023-01-02', '2023-01-02'],
    'product': ['A', 'B', 'A', 'B'],
    'sales': [100, 150, 200, 250],
    'website': ['pandasdataframe.com', 'pandasdataframe.com', 'pandasdataframe.com', 'pandasdataframe.com']
}
df = pd.DataFrame(data)

# 使用groupby
groupby_result = df.groupby('product')['sales'].sum()

# 使用pivot
pivot_result = df.pivot(index='date', columns='product', values='sales')

print("Groupby result:")
print(groupby_result)
print("\nPivot result:")
print(pivot_result)

Output:

Pandas中Groupby和Pivot的深入对比与应用

在这个例子中，groupby结果是一个Series，显示每个产品的总销售额。而pivot结果是一个DataFrame，显示每个日期每个产品的销售额。这清楚地展示了两种方法在输出格式上的区别。

4. 何时使用Groupby

Groupby在以下情况下特别有用：

  1. 需要对数据进行分组统计时
  2. 需要应用复杂的聚合函数时
  3. 处理大量数据时（Groupby通常比Pivot更高效）
  4. 需要保持数据的长格式时

例如，假设我们有一个大型的销售数据集：

import pandas as pd
import numpy as np

# 创建大型销售数据集
np.random.seed(0)
data = {
    'date': pd.date_range(start='2023-01-01', end='2023-12-31', freq='D').repeat(10),
    'product': np.random.choice(['A', 'B', 'C', 'D'], size=3650),
    'sales': np.random.randint(100, 1000, size=3650),
    'website': ['pandasdataframe.com'] * 3650
}
df = pd.DataFrame(data)

# 使用groupby计算每月每个产品的总销售额
monthly_sales = df.groupby([df['date'].dt.to_period('M'), 'product'])['sales'].sum().unstack()

print(monthly_sales)

Output:

Pandas中Groupby和Pivot的深入对比与应用

在这个例子中，我们使用groupby来计算每月每个产品的总销售额。这种操作对于大型数据集来说非常高效，并且结果易于理解和进一步分析。

5. 何时使用Pivot

Pivot在以下情况下特别有用：

  1. 需要将长格式数据转换为宽格式时
  2. 创建交叉表或数据透视表时
  3. 准备数据用于可视化时
  4. 需要快速比较不同类别的数据时

例如，假设我们有一个包含多个产品在不同地区销售情况的数据集：

import pandas as pd

# 创建示例数据
data = {
    'region': ['North', 'North', 'South', 'South', 'East', 'East', 'West', 'West'],
    'product': ['A', 'B', 'A', 'B', 'A', 'B', 'A', 'B'],
    'sales': [100, 150, 200, 250, 300, 350, 400, 450],
    'website': ['pandasdataframe.com'] * 8
}
df = pd.DataFrame(data)

# 使用pivot创建交叉表
pivot_table = df.pivot(index='region', columns='product', values='sales')

print(pivot_table)

Output:

Pandas中Groupby和Pivot的深入对比与应用

在这个例子中，pivot函数帮助我们创建了一个清晰的交叉表，显示每个地区每种产品的销售情况。这种格式非常适合进行地区间或产品间的比较。

6. Groupby和Pivot的高级应用

6.1 Groupby的高级应用

Groupby还可以与其他Pandas功能结合使用，实现更复杂的数据处理：

import pandas as pd

# 创建示例数据
data = {
    'date': pd.date_range(start='2023-01-01', end='2023-12-31', freq='D'),
    'sales': np.random.randint(100, 1000, size=365),
    'website': ['pandasdataframe.com'] * 365
}
df = pd.DataFrame(data)

# 使用groupby和rolling计算30天移动平均
df['MA30'] = df.groupby(df['date'].dt.month)['sales'].transform(lambda x: x.rolling(window=30, min_periods=1).mean())

print(df.head(40))

这个例子展示了如何使用groupby和rolling函数计算每个月内的30天移动平均。这种方法在时间序列分析中非常有用。

6.2 Pivot的高级应用

Pivot可以与其他数据处理技术结合，创建更复杂的数据视图：

import pandas as pd
import numpy as np

# 创建示例数据
np.random.seed(0)
data = {
    'date': pd.date_range(start='2023-01-01', end='2023-12-31', freq='D').repeat(3),
    'product': np.tile(['A', 'B', 'C'], 365),
    'sales': np.random.randint(100, 1000, size=365*3),
    'website': ['pandasdataframe.com'] * (365*3)
}
df = pd.DataFrame(data)

# 使用pivot_table创建月度销售报告
monthly_report = df.pivot_table(
    values='sales', 
    index=df['date'].dt.to_period('M'), 
    columns='product', 
    aggfunc=['sum', 'mean', 'count']
)

print(monthly_report)

Output:

Pandas中Groupby和Pivot的深入对比与应用

这个例子展示了如何使用pivot_table创建一个复杂的月度销售报告，包含每个产品的总销售额、平均销售额和销售次数。

7. 性能考虑

在处理大型数据集时，性能是一个重要的考虑因素。通常，groupby比pivot更高效，特别是在处理大量数据时。这是因为groupby可以利用Pandas的优化算法进行高效的内存使用和计算。

然而，具体的性能表现会依赖于数据的结构和所执行的操作。在某些情况下，pivot可能更快，特别是当你需要重塑相对较小的数据集时。

8. 结合与选择

Pandas的groupby和pivot函数都是强大的数据处理工具，各有其优势和适用场景。选择使用哪个函数主要取决于以下因素：

  1. 数据结构：如果你的数据是长格式，需要转换为宽格式，pivot可能更合适。如果你需要保持数据的长格式并进行聚合，groupby是更好的选择。

  2. 操作类型：如果你主要需要进行聚合操作（如求和、平均等），groupby通常是更好的选择。如果你主要需要重新排列数据，pivot可能更合适。

  3. 数据量：对于大型数据集，groupby通常更高效。对于较小的数据集，两者的性能差异可能不大。

  4. 结果格式：考虑你希望得到的结果格式。Groupby通常产生一个Series或DataFrame，其中索引是分组键。Pivot产生一个新的DataFrame，其中列是原始数据中的唯一值。

  5. 灵活性：如果你需要应用复杂的聚合函数或自定义函数，groupby提供了更大的灵活性。

  6. 可读性：在某些情况下，pivot可能产生更易读的结果，特别是当你需要快速比较不同类别的数据时。

让我们通过一个综合例子来说明如何在实际场景中选择使用groupby还是pivot：

import pandas as pd
import numpy as np

# 创建一个包含销售数据的DataFrame
np.random.seed(0)
data = {
    'date': pd.date_range(start='2023-01-01', end='2023-12-31', freq='D').repeat(3),
    'product': np.tile(['A', 'B', 'C'], 365),
    'region': np.random.choice(['North', 'South', 'East', 'West'], size=365*3),
    'sales': np.random.randint(100, 1000, size=365*3),
    'website': ['pandasdataframe.com'] * (365*3)
}
df = pd.DataFrame(data)

# 场景1：计算每个地区每种产品的总销售额
# 这种情况下，groupby更合适
region_product_sales = df.groupby(['region', 'product'])['sales'].sum().unstack()
print("Scenario 1 (Groupby):")
print(region_product_sales)

# 场景2：创建一个显示每天每种产品销售额的表格
# 这种情况下，pivot更合适
daily_product_sales = df.pivot(index='date', columns='product', values='sales')
print("\nScenario 2 (Pivot):")
print(daily_product_sales.head())

# 场景3：计算每个月每个地区的平均销售额和销售次数
# 这种情况下，groupby更合适，因为我们需要多个聚合函数
monthly_region_stats = df.groupby([df['date'].dt.to_period('M'), 'region'])['sales'].agg(['mean', 'count'])
print("\nScenario 3 (Groupby):")
print(monthly_region_stats)

# 场景4：创建一个交叉表，显示每个地区每种产品的销售占比
# 这种情况下，pivot_table更合适
sales_proportion = df.pivot_table(values='sales', index='region', columns='product', aggfunc='sum')
sales_proportion = sales_proportion.div(sales_proportion.sum(axis=1), axis=0)
print("\nScenario 4 (Pivot Table):")
print(sales_proportion)

Output:

Pandas中Groupby和Pivot的深入对比与应用

这个综合例子展示了在不同场景下如何选择使用groupby或pivot。在场景1和场景3中，我们需要进行复杂的聚合操作，因此选择了groupby。在场景2中，我们需要重塑数据以便于可视化，所以选择了pivot。在场景4中，我们需要创建一个交叉表并计算比例，因此选择了pivot_table。

9. 高级技巧和注意事项

在使用groupby和pivot时，还有一些高级技巧和注意事项值得关注：

9.1 Groupby的高级技巧

  1. 使用自定义聚合函数：
import pandas as pd

# 创建示例数据
data = {
    'product': ['A', 'A', 'B', 'B', 'C', 'C'],
    'sales': [100, 150, 200, 250, 300, 350],
    'website': ['pandasdataframe.com'] * 6
}
df = pd.DataFrame(data)

# 使用自定义函数计算销售额范围
def sales_range(x):
    return x.max() - x.min()

result = df.groupby('product')['sales'].agg(['sum', 'mean', sales_range])
print(result)

Output:

Pandas中Groupby和Pivot的深入对比与应用

这个例子展示了如何在groupby中使用自定义聚合函数。

  1. 使用transform进行组内操作：
import pandas as pd

# 创建示例数据
data = {
    'group': ['A', 'A', 'B', 'B', 'C', 'C'],
    'value': [1, 2, 3, 4, 5, 6],
    'website': ['pandasdataframe.com'] * 6
}
df = pd.DataFrame(data)

# 使用transform计算每个组的平均值
df['group_mean'] = df.groupby('group')['value'].transform('mean')
print(df)

Output:

Pandas中Groupby和Pivot的深入对比与应用

transform函数允许我们对每个组应用一个函数，并将结果广播回原始DataFrame的形状。

9.2 Pivot的高级技巧

  1. 处理多级索引：
import pandas as pd

# 创建示例数据
data = {
    'date': ['2023-01-01', '2023-01-01', '2023-01-02', '2023-01-02'],
    'product': ['A', 'B', 'A', 'B'],
    'region': ['North', 'North', 'South', 'South'],
    'sales': [100, 150, 200, 250],
    'website': ['pandasdataframe.com'] * 4
}
df = pd.DataFrame(data)

# 创建多级索引的pivot表
result = df.pivot(index=['date', 'region'], columns='product', values='sales')
print(result)

Output:

Pandas中Groupby和Pivot的深入对比与应用

这个例子展示了如何创建具有多级索引的pivot表。

  1. 使用margins参数计算总计：
import pandas as pd

# 创建示例数据
data = {
    'date': ['2023-01-01', '2023-01-01', '2023-01-02', '2023-01-02'],
    'product': ['A', 'B', 'A', 'B'],
    'sales': [100, 150, 200, 250],
    'website': ['pandasdataframe.com'] * 4
}
df = pd.DataFrame(data)

# 使用margins参数计算总计
result = pd.pivot_table(df, values='sales', index='date', columns='product', aggfunc='sum', margins=True)
print(result)

Output:

Pandas中Groupby和Pivot的深入对比与应用

margins参数允许我们在pivot表中包含总计行和列。

9.3 注意事项

  1. 内存使用：对于大型数据集，groupby通常比pivot更节省内存。在处理非常大的数据集时，考虑使用groupby或分块处理数据。

  2. 数据类型：确保用于分组或透视的列具有适当的数据类型。例如，日期列应该是datetime类型，而不是字符串类型。

  3. 缺失值：groupby和pivot对缺失值的处理方式可能不同。在进行操作之前，考虑如何处理缺失值。

  4. 重复值：基本的pivot函数不能处理重复值，而groupby可以。如果数据中存在重复值，考虑使用pivot_table而不是pivot。

  5. 结果验证：总是验证groupby或pivot操作的结果，确保它们符合你的预期。

10. 结论

Pandas的groupby和pivot函数都是强大的数据处理工具，它们在数据分析和处理中扮演着重要角色。理解它们的区别、适用场景和高级用法可以帮助你更有效地处理各种数据任务。

  • Groupby适合于数据分组和聚合，特别是当你需要应用复杂的聚合函数或处理大量数据时。
  • Pivot适合于数据重塑，特别是当你需要将长格式数据转换为宽格式或创建交叉表时。

在实际应用中，这两个函数常常可以互补使用，帮助你从不同角度分析和理解数据。随着你对这两个函数的深入理解和熟练应用，你将能够更加灵活和高效地处理各种复杂的数据分析任务。

最后，记住在选择使用groupby还是pivot时，要考虑你的具体需求、数据结构、期望的输出格式以及性能要求。通过不断实践和探索，你将能够在各种数据处理场景中做出最佳选择。

Python教程

Python 教程

Python 教程
Tkinter 教程

Tkinter 教程
Pandas 教程

Pandas 教程
NumPy 教程

NumPy 教程
Flask 教程

Flask 教程
Django 教程

Django 教程
PySpark 教程

PySpark 教程
wxPython 教程

wxPython 教程
SymPy 教程

SymPy 教程
Seaborn 教程

Seaborn 教程
SciPy 教程

SciPy 教程
RxPY 教程

RxPY 教程
Pycharm 教程

Pycharm 教程
Pygame 教程

Pygame 教程
PyGTK 教程

PyGTK 教程
PyQt 教程

PyQt 教程
PyQt5 教程

PyQt5 教程
PyTorch 教程

PyTorch 教程
Matplotlib 教程

Matplotlib 教程
Web2py 教程

Web2py 教程
BeautifulSoup 教程

BeautifulSoup 教程

Java教程

Java 教程

Java 教程

Web教程

HTML 教程

HTML 教程
CSS 教程

CSS 教程
CSS3 教程

CSS3 教程
jQuery 教程

jQuery 教程
Ajax 教程

Ajax 教程
AngularJS 教程

AngularJS 教程
TypeScript 教程

TypeScript 教程
WordPress 教程

WordPress 教程
Laravel 教程

Laravel 教程
Next.js 教程

Next.js 教程
PhantomJS 教程

PhantomJS 教程
Three.js 教程

Three.js 教程
Underscore.JS 教程

Underscore.JS 教程
WebGL 教程

WebGL 教程
WebRTC 教程

WebRTC 教程
VueJS 教程

VueJS 教程

数据库教程

SQL 教程

SQL 教程
MySQL 教程

MySQL 教程
MongoDB 教程

MongoDB 教程
PostgreSQL 教程

PostgreSQL 教程
SQLite 教程

SQLite 教程
Redis 教程

Redis 教程
MariaDB 教程

MariaDB 教程

图形图像教程

Vulkan 教程

Vulkan 教程
OpenCV 教程

OpenCV 教程

大数据教程

R语言 教程

R语言 教程

开发工具教程

Git 教程

Git 教程
VSCode 教程

VSCode 教程
Docker 教程

Docker 教程
Gerrit 教程

Gerrit 教程
Excel 教程

Excel 教程

计算机教程

Go语言 教程

Go语言 教程
C++ 教程

C++ 教程

Pandas 精品教程