pandas apply 函数的详细介绍与应用|极客教程

pandas apply 函数的详细介绍与应用

Pandas 是一个强大的 Python 数据处理库，广泛用于数据分析和数据处理。在处理 DataFrame 和 Series 对象时，apply 函数是一个非常有用的工具，它允许用户对数据集应用一个函数，可以是自定义的，也可以是已存在的函数。本文将详细介绍 apply 函数的使用方法，并通过多个示例展示其在不同场景下的应用。

1. apply 函数基础

apply 函数可以被用于 pandas 的 Series 和 DataFrame 对象。当用于 Series 对象时，它对 Series 的每个元素应用指定的函数。当用于 DataFrame 对象时，它可以沿指定的轴应用一个函数，可以是行或列。

示例代码 1：在 Series 上使用 apply

import pandas as pd

# 创建一个 Series 对象
s = pd.Series(['pandasdataframe.com', 'data', 'science'])

# 定义一个简单的函数，将字符串转换为大写
def to_upper(text):
    return text.upper()

# 使用 apply 函数
result_series = s.apply(to_upper)
print(result_series)

Output:

pandas apply 函数的详细介绍与应用

示例代码 2：在 DataFrame 上使用 apply

import pandas as pd

# 创建一个 DataFrame 对象
df = pd.DataFrame({
    'Website': ['pandasdataframe.com', 'example.com', 'test.com'],
    'Visits': [1000, 2300, 500]
})

# 定义一个函数，增加访问次数
def add_visits(visits):
    return visits + 100

# 使用 apply 函数沿着列应用
result_df = df.apply(lambda x: add_visits(x['Visits']) if x.name == 'Visits' else x)
print(result_df)

2. 使用 apply 处理复杂数据

apply 函数非常适合处理需要对数据进行复杂转换的场景。通过自定义函数，用户可以实现从简单的数据转换到复杂的数据聚合。

示例代码 3：使用 apply 进行条件运算

import pandas as pd

# 创建一个 DataFrame
df = pd.DataFrame({
    'Website': ['pandasdataframe.com', 'example.com', 'test.com'],
    'Score': [90, 85, 88]
})

# 定义一个函数，根据分数给网站评级
def rating(score):
    if score >= 90:
        return 'A'
    elif score >= 80:
        return 'B'
    else:
        return 'C'

# 使用 apply 函数
df['Rating'] = df['Score'].apply(rating)
print(df)

Output:

pandas apply 函数的详细介绍与应用

示例代码 4：使用 apply 进行数据规范化

import pandas as pd

# 创建一个 DataFrame
df = pd.DataFrame({
    'Website': ['pandasdataframe.com', 'example.com', 'test.com'],
    'Value': [200, 300, 100]
})

# 定义一个函数，进行 Min-Max 规范化
def min_max_scaling(series):
    return (series - series.min()) / (series.max() - series.min())

# 使用 apply 函数
df['Normalized'] = df['Value'].apply(min_max_scaling)
print(df)

3. apply 函数的高级应用

apply 函数的灵活性在于它可以接收额外的参数和关键字参数，这使得它可以在更复杂的数据处理场景中使用。

示例代码 5：传递额外的参数

import pandas as pd

# 创建一个 DataFrame
df = pd.DataFrame({
    'Website': ['pandasdataframe.com', 'example.com', 'test.com'],
    'Value': [20, 30, 10]
})

# 定义一个函数，根据提供的因子调整值
def adjust_value(value, factor):
    return value * factor

# 使用 apply 函数，并传递额外的参数
df['Adjusted'] = df['Value'].apply(adjust_value, args=(10,))
print(df)

Output:

pandas apply 函数的详细介绍与应用

示例代码 6：使用 applymap 对 DataFrame 的每个元素应用函数

import pandas as pd

# 创建一个 DataFrame
df = pd.DataFrame({
    'A': [1, 2, 3],
    'B': [4, 5, 6]
})

# 定义一个函数，将所有元素乘以 2
def multiply_by_two(x):
    return x * 2

# 使用 applymap 函数
df = df.applymap(multiply_by_two)
print(df)

4. 性能考虑

虽然 apply 函数非常强大和灵活，但在处理大规模数据时，它可能不是最高效的方法。在可能的情况下，使用矢量化的方法或 pandas 内置函数通常会有更好的性能。

示例代码 7：使用矢量化操作代替 apply

import pandas as pd

# 创建一个 DataFrame
df = pd.DataFrame({
    'Website': ['pandasdataframe.com', 'example.com', 'test.com'],
    'Value': [200, 300, 100]
})

# 直接使用矢量化操作进行 Min-Max 规范化
df['Normalized'] = (df['Value'] - df['Value'].min()) / (df['Value'].max() - df['Value'].min())
print(df)