当前位置：极客教程 > Pandas > Pandas 问答 > Pandas中使用agg()函数进行去重计数

Pandas中使用agg()函数进行去重计数

Pandas中使用agg()函数进行去重计数

参考：pandas agg distinct count

在数据分析中，经常需要对数据进行汇总统计，其中一个常见的需求是计算某些列的不重复（唯一）值的数量。Pandas库提供了强大的数据处理能力，其中agg()函数是一个非常有用的工具，可以用来执行多种统计聚合操作，包括去重计数（distinct count）。本文将详细介绍如何在Pandas中使用agg()函数来进行去重计数，并提供多个示例代码以帮助理解和应用。

1. Pandas简介

Pandas是一个开源的Python数据分析库，它提供了高性能、易用的数据结构和数据分析工具。对于Python科学计算而言，Pandas是不可或缺的工具之一。在Pandas中，最核心的数据结构是DataFrame，它是一个表格型的数据结构，可以用来存储和操作结构化数据。

2. agg()函数概述

agg()函数是Pandas中用于聚合计算的函数之一，它允许用户对DataFrame或Series对象应用一个或多个操作，实现数据的聚合处理。agg()函数的灵活性在于可以同时使用多种聚合方法，或对不同的列使用不同的聚合方法。

3. 使用agg()进行去重计数

去重计数是指计算某列中不同值的数量。在Pandas中，通常可以使用nunique()函数来计算唯一值的数量，而agg()函数允许我们在聚合时直接使用nunique()作为参数，从而实现去重计数的目的。

示例代码1：基本的去重计数

import pandas as pd

# 创建示例数据
data = {
    'A': ['foo', 'bar', 'foo', 'bar', 'foo', 'bar', 'foo', 'foo'],
    'B': ['one', 'one', 'two', 'three', 'two', 'two', 'one', 'three'],
    'C': ['small', 'large', 'large', 'small', 'small', 'large', 'small', 'small'],
    'D': [1, 2, 2, 3, 3, 4, 5, 6]
}
df = pd.DataFrame(data)

# 使用agg()进行去重计数
result = df.agg({'A': 'nunique', 'B': 'nunique'})
print(result)

Output:

Pandas中使用agg()函数进行去重计数

示例代码2：对多列进行去重计数

import pandas as pd

# 创建示例数据
data = {
    'A': ['foo', 'bar', 'foo', 'bar', 'foo', 'bar', 'foo', 'foo'],
    'B': ['one', 'one', 'two', 'three', 'two', 'two', 'one', 'three'],
    'C': ['small', 'large', 'large', 'small', 'small', 'large', 'small', 'small'],
    'D': [1, 2, 2, 3, 3, 4, 5, 6]
}
df = pd.DataFrame(data)

# 使用agg()对多列进行去重计数
result = df.agg({'A': 'nunique', 'B': 'nunique', 'C': 'nunique'})
print(result)

Output:

Pandas中使用agg()函数进行去重计数

示例代码3：结合groupby使用agg()

import pandas as pd

# 创建示例数据
data = {
    'A': ['foo', 'bar', 'foo', 'bar', 'foo', 'bar', 'foo', 'foo'],
    'B': ['one', 'one', 'two', 'three', 'two', 'two', 'one', 'three'],
    'C': ['small', 'large', 'large', 'small', 'small', 'large', 'small', 'small'],
    'D': [1, 2, 2, 3, 3, 4, 5, 6]
}
df = pd.DataFrame(data)

# 结合groupby使用agg()进行去重计数
result = df.groupby('A').agg({'B': 'nunique', 'C': 'nunique'})
print(result)

Output:

Pandas中使用agg()函数进行去重计数

示例代码4：使用自定义函数进行去重计数

import pandas as pd

# 创建示例数据
data = {
    'A': ['foo', 'bar', 'foo', 'bar', 'foo', 'bar', 'foo', 'foo'],
    'B': ['one', 'one', 'two', 'three', 'two', 'two', 'one', 'three'],
    'C': ['small', 'large', 'large', 'small', 'small', 'large', 'small', 'small'],
    'D': [1, 2, 2, 3, 3, 4, 5, 6]
}
df = pd.DataFrame(data)

# 使用自定义函数进行去重计数
def my_nunique(series):
    return series.nunique()

result = df.agg({'A': my_nunique, 'B': my_nunique})
print(result)

Output:

Pandas中使用agg()函数进行去重计数

示例代码5：对整个DataFrame进行去重计数

import pandas as pd

# 创建示例数据
data = {
    'A': ['foo', 'bar', 'foo', 'bar', 'foo', 'bar', 'foo', 'foo'],
    'B': ['one', 'one', 'two', 'three', 'two', 'two', 'one', 'three'],
    'C': ['small', 'large', 'large', 'small', 'small', 'large', 'small', 'small'],
    'D': [1, 2, 2, 3, 3, 4, 5, 6]
}
df = pd.DataFrame(data)

# 对整个DataFrame进行去重计数
result = df.agg(['nunique'])
print(result)

Output:

Pandas中使用agg()函数进行去重计数

示例代码6：在agg()中使用多个函数

import pandas as pd

# 创建示例数据
data = {
    'A': ['foo', 'bar', 'foo', 'bar', 'foo', 'bar', 'foo', 'foo'],
    'B': ['one', 'one', 'two', 'three', 'two', 'two', 'one', 'three'],
    'C': ['small', 'large', 'large', 'small', 'small', 'large', 'small', 'small'],
    'D': [1, 2, 2, 3, 3, 4, 5, 6]
}
df = pd.DataFrame(data)

# 在agg()中使用多个函数
result = df.agg({'A': ['nunique', 'count'], 'B': ['nunique', 'max']})
print(result)

Output:

Pandas中使用agg()函数进行去重计数

示例代码7：对不同列使用不同的聚合函数

import pandas as pd

# 创建示例数据
data = {
    'A': ['foo', 'bar', 'foo', 'bar', 'foo', 'bar', 'foo', 'foo'],
    'B': ['one', 'one', 'two', 'three', 'two', 'two', 'one', 'three'],
    'C': ['small', 'large', 'large', 'small', 'small', 'large', 'small', 'small'],
    'D': [1, 2, 2, 3, 3, 4, 5, 6]
}
df = pd.DataFrame(data)

# 对不同列使用不同的聚合函数
result = df.agg({'A': 'nunique', 'B': 'max', 'C': 'min', 'D': 'sum'})
print(result)

Output:

Pandas中使用agg()函数进行去重计数

示例代码8：在agg()中使用lambda函数

import pandas as pd

# 创建示例数据
data = {
    'A': ['foo', 'bar', 'foo', 'bar', 'foo', 'bar', 'foo', 'foo'],
    'B': ['one', 'one', 'two', 'three', 'two', 'two', 'one', 'three'],
    'C': ['small', 'large', 'large', 'small', 'small', 'large', 'small', 'small'],
    'D': [1, 2, 2, 3, 3, 4, 5, 6]
}
df = pd.DataFrame(data)

# 在agg()中使用lambda函数进行去重计数
result = df.agg({'A': lambda x: x.nunique(), 'B': lambda x: x.nunique()})
print(result)

Output:

Pandas中使用agg()函数进行去重计数

示例代码9：结合条件过滤使用agg()

import pandas as pd

# 创建示例数据
data = {
    'A': ['foo', 'bar', 'foo', 'bar', 'foo', 'bar', 'foo', 'foo'],
    'B': ['one', 'one', 'two', 'three', 'two', 'two', 'one', 'three'],
    'C': ['small', 'large', 'large', 'small', 'small', 'large', 'small', 'small'],
    'D': [1, 2, 2, 3, 3, 4, 5, 6]
}
df = pd.DataFrame(data)

# 结合条件过滤使用agg()
filtered_df = df[df['C'] == 'small']
result = filtered_df.agg({'A': 'nunique', 'B': 'nunique'})
print(result)

Output:

Pandas中使用agg()函数进行去重计数

示例代码10：使用agg()进行多级分组聚合

import pandas as pd

# 创建示例数据
data = {
    'A': ['foo', 'bar', 'foo', 'bar', 'foo', 'bar', 'foo', 'foo'],
    'B': ['one', 'one', 'two', 'three', 'two', 'two', 'one', 'three'],
    'C': ['small', 'large', 'large', 'small', 'small', 'large', 'small', 'small'],
    'D': [1, 2, 2, 3, 3, 4, 5, 6]
}
df = pd.DataFrame(data)

# 使用agg()进行多级分组聚合
result = df.groupby(['A', 'B']).agg({'C': 'nunique', 'D': 'sum'})
print(result)

Output:

Pandas中使用agg()函数进行去重计数

示例代码11：对Series使用agg()

import pandas as pd

# 创建示例数据
data = [1, 2, 2, 3, 3, 4, 5, 6]
series = pd.Series(data)

# 对Series使用agg()
result = series.agg('nunique')
print(result)

Output:

Pandas中使用agg()函数进行去重计数

示例代码12：结合reset_index()使用agg()

import pandas as pd

# 创建示例数据
data = {
    'A': ['foo', 'bar', 'foo', 'bar', 'foo', 'bar', 'foo', 'foo'],
    'B': ['one', 'one', 'two', 'three', 'two', 'two', 'one', 'three'],
    'C': ['small', 'large', 'large', 'small', 'small', 'large', 'small', 'small'],
    'D': [1, 2, 2, 3, 3, 4, 5, 6]
}
df = pd.DataFrame(data)

# 结合reset_index()使用agg()
result = df.groupby('A').agg({'B': 'nunique'}).reset_index()
print(result)

Output:

Pandas中使用agg()函数进行去重计数

示例代码13：使用agg()和sort_values()

import pandas as pd

# 创建示例数据
data = {
    'A': ['foo', 'bar', 'foo', 'bar', 'foo', 'bar', 'foo', 'foo'],
    'B': ['one', 'one', 'two', 'three', 'two', 'two', 'one', 'three'],
    'C': ['small', 'large', 'large', 'small', 'small', 'large', 'small', 'small'],
    'D': [1, 2, 2, 3, 3, 4, 5, 6]
}
df = pd.DataFrame(data)

# 使用agg()和sort_values()
result = df.groupby('A').agg({'B': 'nunique'}).sort_values(by='B', ascending=False)
print(result)

Output:

Pandas中使用agg()函数进行去重计数

示例代码14：结合filter()使用agg()

import pandas as pd

# 创建示例数据
data = {
    'A': ['foo', 'bar', 'foo', 'bar', 'foo', 'bar', 'foo', 'foo'],
    'B': ['one', 'one', 'two', 'three', 'two', 'two', 'one', 'three'],
    'C': ['small', 'large', 'large', 'small', 'small', 'large', 'small', 'small'],
    'D': [1, 2, 2, 3, 3, 4, 5, 6]
}
df = pd.DataFrame(data)

# 结合filter()使用agg()
filtered_df = df[df['D'] > 2]
result = filtered_df.agg({'A': 'nunique', 'B': 'nunique'})
print(result)

Output:

Pandas中使用agg()函数进行去重计数

示例代码15：结合apply()使用agg()

import pandas as pd

# 创建示例数据
data = {
    'A': ['foo', 'bar', 'foo', 'bar', 'foo', 'bar', 'foo', 'foo'],
    'B': ['one', 'one', 'two', 'three', 'two', 'two', 'one', 'three'],
    'C': ['small', 'large', 'large', 'small', 'small', 'large', 'small', 'small'],
    'D': [1, 2, 2, 3, 3, 4, 5, 6]
}
df = pd.DataFrame(data)

# 结合apply()使用agg()
result = df.apply(lambda x: x.nunique() if x.name in ['A', 'B'] else x.sum())
print(result)

Output:

Pandas中使用agg()函数进行去重计数

以上示例展示了如何在不同场景下使用Pandas的agg()函数进行数据的去重计数和其他聚合操作。通过这些示例，可以看到agg()函数在数据分析中的强大功能和灵活性。

Python教程

Python 教程

Python 教程
Tkinter 教程

Tkinter 教程
Pandas 教程

Pandas 教程
NumPy 教程

NumPy 教程
Flask 教程

Flask 教程
Django 教程

Django 教程
PySpark 教程

PySpark 教程
wxPython 教程

wxPython 教程
SymPy 教程

SymPy 教程
Seaborn 教程

Seaborn 教程
SciPy 教程

SciPy 教程
RxPY 教程

RxPY 教程
Pycharm 教程

Pycharm 教程
Pygame 教程

Pygame 教程
PyGTK 教程

PyGTK 教程
PyQt 教程

PyQt 教程
PyQt5 教程

PyQt5 教程
PyTorch 教程

PyTorch 教程
Matplotlib 教程

Matplotlib 教程
Web2py 教程

Web2py 教程
BeautifulSoup 教程

BeautifulSoup 教程

Java教程

Java 教程

Java 教程

Web教程

HTML 教程

HTML 教程
CSS 教程

CSS 教程
CSS3 教程

CSS3 教程
jQuery 教程

jQuery 教程
Ajax 教程

Ajax 教程
AngularJS 教程

AngularJS 教程
TypeScript 教程

TypeScript 教程
WordPress 教程

WordPress 教程
Laravel 教程

Laravel 教程
Next.js 教程

Next.js 教程
PhantomJS 教程

PhantomJS 教程
Three.js 教程

Three.js 教程
Underscore.JS 教程

Underscore.JS 教程
WebGL 教程

WebGL 教程
WebRTC 教程

WebRTC 教程
VueJS 教程

VueJS 教程

数据库教程

SQL 教程

SQL 教程
MySQL 教程

MySQL 教程
MongoDB 教程

MongoDB 教程
PostgreSQL 教程

PostgreSQL 教程
SQLite 教程

SQLite 教程
Redis 教程

Redis 教程
MariaDB 教程

MariaDB 教程

图形图像教程

Vulkan 教程

Vulkan 教程
OpenCV 教程

OpenCV 教程

大数据教程

R语言 教程

R语言 教程

开发工具教程

Git 教程

Git 教程
VSCode 教程

VSCode 教程
Docker 教程

Docker 教程
Gerrit 教程

Gerrit 教程
Excel 教程

Excel 教程

计算机教程

Go语言 教程

Go语言 教程
C++ 教程

C++ 教程

Pandas 精品教程