极客教程pandas dataframe apply函数
在数据分析中，我们经常需要对数据进行各种复杂的操作，例如计算、转换、筛选等。在Python的pandas库中，有一个非常强大的函数叫做apply，它可以让我们对DataFrame的数据进行各种复杂的操作。本文将详细介绍pandas的apply函数，包括它的基本用法、常见的使用场景以及一些高级技巧。
1. apply函数的基本用法
apply函数的基本用法是对DataFrame的每一行或每一列进行操作。它的基本语法如下：
DataFrame.apply(func, axis=0, ...)
其中，func是一个函数，这个函数会被应用到DataFrame的每一行或每一列；axis参数决定了函数是应用到行还是列，axis=0表示应用到列，axis=1表示应用到行。
下面是一个简单的例子，我们创建一个DataFrame，然后用apply函数计算每一列的平均值：
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.rand(5, 3), columns=['A', 'B', 'C'])
print(df)
mean = df.apply(np.mean)
print(mean)
Output:
在这个例子中，我们首先创建了一个5行3列的DataFrame，然后用apply函数和numpy的mean函数计算了每一列的平均值。
2. 对行进行操作
apply函数默认是对列进行操作的，但是我们也可以通过设置axis参数来对行进行操作。例如，我们可以计算每一行的和：
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.rand(5, 3), columns=['A', 'B', 'C'])
print(df)
sum = df.apply(np.sum, axis=1)
print(sum)
Output:
在这个例子中，我们设置了axis=1，所以apply函数是对每一行进行操作的。
3. 使用自定义函数
除了使用numpy等库提供的函数，我们也可以使用自定义的函数。例如，我们可以定义一个函数来计算每一列的范围（最大值和最小值的差）：
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.rand(5, 3), columns=['A', 'B', 'C'])
print(df)
def range(x):
return x.max() - x.min()
range = df.apply(range)
print(range)
Output:
在这个例子中，我们定义了一个名为range的函数，然后用apply函数将这个函数应用到了每一列。
4. 使用lambda函数
在Python中，我们可以使用lambda函数来定义简单的函数。这在使用apply函数时非常方便，因为我们可以直接在apply函数中定义和使用lambda函数。
例如，我们可以定义一个lambda函数来计算每一列的中位数：
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.rand(5, 3), columns=['A', 'B', 'C'])
print(df)
median = df.apply(lambda x: x.median())
print(median)
Output:
在这个例子中，我们定义了一个lambda函数，然后用apply函数将这个函数应用到了每一列。
5. 对特定列进行操作
有时候，我们只想对DataFrame的某几列进行操作。这时候，我们可以先选择这些列，然后再使用apply函数。
例如，我们可以只对’A’和’B’两列计算平均值：
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.rand(5, 3), columns=['A', 'B', 'C'])
print(df)
mean = df[['A', 'B']].apply(np.mean)
print(mean)
Output:
在这个例子中，我们首先选择了’A’和’B’两列，然后用apply函数和numpy的mean函数计算了这两列的平均值。
6. 对特定行进行操作
同样，我们也可以只对DataFrame的某几行进行操作。这时候，我们可以先选择这些行，然后再使用apply函数。
例如，我们可以只对前三行计算和：
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.rand(5, 3), columns=['A', 'B', 'C'])
print(df)
sum = df.loc[:2].apply(np.sum, axis=1)
print(sum)
Output:
在这个例子中，我们首先选择了前三行，然后用apply函数和numpy的sum函数计算了这三行的和。
7. 使用applymap函数
除了apply函数，pandas还提供了一个applymap函数，它可以对DataFrame的每一个元素进行操作。
例如，我们可以用applymap函数将DataFrame的所有元素乘以2：
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.rand(5, 3), columns=['A', 'B', 'C'])
print(df)
df = df.applymap(lambda x: x * 2)
print(df)
在这个例子中，我们定义了一个lambda函数，然后用applymap函数将这个函数应用到了每一个元素。
8. 使用groupby和apply函数
在pandas中，我们可以使用groupby函数将数据分组，然后再使用apply函数对每一组进行操作。
例如，我们可以先按照’A’列的值将数据分组，然后计算每一组的平均值：
import pandas as pd
import numpy as np
df = pd.DataFrame({
'A': ['foo', 'bar', 'foo', 'bar', 'foo', 'bar', 'foo', 'foo'],
'B': ['one', 'one', 'two', 'three', 'two', 'two', 'one', 'three'],
'C': np.random.randn(8),
'D': np.random.randn(8)
})
print(df)
grouped = df.groupby('A').apply(np.mean)
print(grouped)
在这个例子中，我们首先用groupby函数将数据按照’A’列的值分组，然后用apply函数和numpy的mean函数计算了每一组的平均值。
9. 使用agg函数
除了apply函数，pandas还提供了一个agg函数，它可以对DataFrame的每一列或每一行进行多个操作。
例如，我们可以用agg函数同时计算每一列的平均值和标准差：
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.rand(5, 3), columns=['A', 'B', 'C'])
print(df)
result = df.agg(['mean', 'std'])
print(result)
Output:
在这个例子中，我们用agg函数同时计算了每一列的平均值和标准差。
10. 使用transform函数
除了apply函数，pandas还提供了一个transform函数，它可以对DataFrame的每一列或每一行进行操作，然后返回一个和原始DataFrame同样大小的结果。
例如，我们可以用transform函数将每一列的数据标准化（减去平均值，然后除以标准差）：
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.rand(5, 3), columns=['A', 'B', 'C'])
print(df)
df = df.transform(lambda x: (x - x.mean()) / x.std())
print(df)
Output:
在这个例子中，我们定义了一个lambda函数，然后用transform函数将这个函数应用到了每一列。
11. 使用apply函数处理缺失值
在处理实际数据时，我们经常会遇到缺失值。pandas的apply函数可以帮助我们方便地处理这些缺失值。
例如，我们可以用apply函数将所有的NaN替换为列的平均值：
import pandas as pd
import numpy as np
df = pd.DataFrame({
'A': [1, 2, np.nan, 4, 5],
'B': [np.nan, 2, 3, 4, 5],
'C': [1, 2, 3, np.nan, 5]
})
print(df)
df = df.apply(lambda x: x.fillna(x.mean()), axis=0)
print(df)
Output:
在这个例子中，我们定义了一个lambda函数，这个函数将每一列的NaN替换为这一列的平均值。
12. 使用apply函数处理时间数据
在处理时间序列数据时，我们经常需要对时间进行各种复杂的操作。pandas的apply函数可以帮助我们方便地处理这些时间数据。
例如，我们可以用apply函数将字符串格式的时间转换为datetime格式：
import pandas as pd
from datetime import datetime
df = pd.DataFrame({
'time': ['2018-01-01', '2018-01-02', '2018-01-03', '2018-01-04', '2018-01-05']
})
print(df)
df['time'] = df['time'].apply(lambda x: datetime.strptime(x, '%Y-%m-%d'))
print(df)
Output:
在这个例子中，我们定义了一个lambda函数，这个函数将字符串格式的时间转换为datetime格式。
13. 使用apply函数处理文本数据
在处理文本数据时，我们经常需要对文本进行各种复杂的操作。pandas的apply函数可以帮助我们方便地处理这些文本数据。
例如，我们可以用apply函数将所有的文本转换为小写：
import pandas as pd
df = pd.DataFrame({
'text': ['Hello', 'World', 'PANDAS', 'dataframe', 'APPLY']
})
print(df)
df['text'] = df['text'].apply(lambda x: x.lower())
print(df)
Output:
在这个例子中，我们定义了一个lambda函数，这个函数将所有的文本转换为小写。
14. 使用apply函数进行复杂的操作
除了上面介绍的基本操作，pandas的apply函数还可以进行更复杂的操作。
例如，我们可以用apply函数将一列的值分割为多列：
import pandas as pd
df = pd.DataFrame({
'name': ['John Smith', 'Jane Doe', 'Mary Johnson']
})
print(df)
df[['first_name', 'last_name']] = df['name'].apply(lambda x: pd.Series(str(x).split(" ")))
print(df)
Output:
在这个例子中，我们定义了一个lambda函数，这个函数将’name’列的值分割为’first_name’和’last_name’两列。
15. 使用apply函数进行条件判断
在处理数据时，我们经常需要根据某些条件进行判断。pandas的apply函数可以帮助我们方便地进行这些判断。
例如，我们可以用apply函数判断每一列的最大值是否大于0.5：
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.rand(5, 3), columns=['A', 'B', 'C'])
print(df)
result = df.apply(lambda x: x.max() > 0.5)
print(result)
Output:
在这个例子中，我们定义了一个lambda函数，这个函数判断每一列的最大值是否大于0.5。
总结起来，pandas的apply函数是一个非常强大的工具，它可以帮助我们方便地对数据进行各种复杂的操作。无论是基本的数学运算，还是复杂的数据转换，都可以通过apply函数轻松实现。