Pandas 如何过滤NaN值

在本文中，我们将介绍如何使用Pandas中的方法来过滤NaN值，包括如何检查数据框中的空值、如何筛选出存在空值的行或列、如何填补缺失值等等。通过本文的介绍，你将学会应对Pandas中出现NaN值的情况，更加完整和准确地分析和处理数据。

检查数据框中的空值

在Pandas中，可以使用isnull()和notnull()方法对数据框中的空值进行检查。

isnull()方法返回一个布尔型的数据框，其中True表示该位置上是空值。例如，我们对下列数据框进行isnull()操作：

import pandas as pd
import numpy as np

df = pd.DataFrame({'A':[1, 2, np.nan], 'B':[3, np.nan, 6], 'C':[np.nan, np.nan, np.nan]})
print(df.isnull())

输出结果为：

       A      B     C
0  False  False  True
1  False   True  True
2   True  False  True

notnull()方法则返回与isnull()结果相反的数据框，即True表示该位置上不是空值。例如，我们对上述数据框进行notnull()操作：

print(df.notnull())

输出结果为：

       A      B      C
0   True   True  False
1   True  False  False
2  False   True  False

筛选出存在空值的行或列

接下来，我们可以使用any()和all()方法筛选出一个数据框或一个Series中存在空值的行或列。

any()方法返回一个布尔型的数据框或Series，其中True表示该行或列中至少存在一个空值。例如，我们对上述数据框进行any()操作：

print(df.any())

输出结果为：

A    True
B    True
C    True
dtype: bool

其中的输出结果表示该数据框中的每一列都存在至少一个空值。

如果我们想要筛选出该数据框中存在空值的行，可以对每一行进行any()方法的操作，然后使用索引筛选出结果为True的行。例如，我们对上述数据框中的每一行进行any()操作：

print(df.any(axis=1))

输出结果为：

0     True
1     True
2    False
dtype: bool

其中的输出结果表示除了第三行以外，每一行都存在至少一个空值。

all()方法则返回一个布尔型的数据框或Series，其中True表示该行或列中所有的数都是非空值。例如，我们对上述数据框进行all()操作：

print(df.all())

输出结果为：

A    False
B    False
C    False
dtype: bool

其中的输出结果表示该数据框中的每一列都不全是非空值。

如果我们想要筛选出该数据框中所有数都是非空值的列，可以对每一列进行all()方法的操作，然后使用索引筛选出结果为True的列。例如，我们对上述数据框中的每一列进行all()操作：

print(df.all(axis=0))

输出结果为：

A    False
B    False
C    False
dtype: bool

其中的输出结果表示该数据框中不存在所有数都是非空值的列。

填补缺失值

在Pandas中，可以使用fillna()方法来填补缺失值。fillna()方法有许多参数可供选择，其中最常用的是value和method。

value参数可以用于填充数值型或字符串型的缺失值。例如，我们对下列数据框使用fillna()方法填充缺失值：

df = pd.DataFrame({'A':[1, 2, np.nan], 'B':[3, np.nan, 6], 'C':[np.nan, np.nan, np.nan]})

# 将所有的NaN值替换成0
df.fillna(value=0, inplace=True)
print(df)

输出结果为：

     A    B    C
0  1.0  3.0  0.0
1  2.0  0.0  0.0
2  0.0  6.0  0.0

在上述例子中，我们将所有的NaN值替换成了0。

method参数可以用于填充数值型缺失值，并且具有一定的插值效果。下面介绍两种最常用的method方法：

ffill（或pad）：用前一个非缺失值填充该位置上的缺失值。
bfill（或backfill）：用后一个非缺失值填充该位置上的缺失值。

例如，我们对下列数据框使用fillna()方法进行插值：

df = pd.DataFrame({'A':[1, np.nan, np.nan, 4], 'B':[5, 6, np.nan, np.nan], 'C':[7, np.nan, 9, 10]})
print(df)

# 使用前一个非缺失值插值
df.fillna(method='ffill', inplace=True)
print(df)

# 使用后一个非缺失值插值
df.fillna(method='bfill', inplace=True)
print(df)

输出结果为：

     A    B     C
0  1.0  5.0   7.0
1  NaN  6.0   NaN
2  NaN  NaN   9.0
3  4.0  NaN  10.0

     A    B     C
0  1.0  5.0   7.0
1  1.0  6.0   7.0
2  1.0  6.0   9.0
3  4.0  6.0  10.0

     A    B     C
0  1.0  5.0   7.0
1  4.0  6.0   9.0
2  4.0  NaN   9.0
3  4.0  NaN  10.0