pandas dataframe中的NaN值处理|极客教程

pandas dataframe中的NaN值处理

在数据处理和分析中，经常会遇到缺失值的情况。在pandas中，缺失值通常用NaN来表示。处理NaN值是数据清洗的重要一环，本文将详细介绍pandas dataframe中NaN值的处理方法。

1. 创建包含NaN值的DataFrame

首先，让我们创建一个包含NaN值的DataFrame作为示例：

import pandas as pd
import numpy as np

data = {'A': [1, 2, np.nan, 4, 5],
        'B': [6, np.nan, 8, 9, 10],
        'C': [11, 12, 13, np.nan, 15]}
df = pd.DataFrame(data)
print(df)

运行以上代码，我们将得到如下DataFrame：

     A     B     C
0  1.0   6.0  11.0
1  2.0   NaN  12.0
2  NaN   8.0  13.0
3  4.0   9.0   NaN
4  5.0  10.0  15.0

2. 检测NaN值

在处理NaN值之前，我们可以使用isnull()方法来检测DataFrame中的NaN值。

print(df.isnull())

运行以上代码，我们将看到输出如下：

       A      B      C
0  False   False  False
1  False    True  False
2   True   False  False
3  False   False   True
4  False   False  False

这样我们可以清楚地看到哪些位置存在NaN值。

3. 处理NaN值

3.1. 删除包含NaN值的行或列

我们可以使用dropna()方法来删除包含NaN值的行或列。默认情况下，dropna()会删除包含任何NaN值的行。

print(df.dropna())

运行以上代码，我们将得到删除包含NaN值的行后的结果：

     A     B     C
0  1.0   6.0  11.0
4  5.0  10.0  15.0

如果想删除包含NaN值的列，可以使用axis=1参数：

print(df.dropna(axis=1))

运行以上代码，我们将得到删除包含NaN值的列后的结果：

Empty DataFrame
Columns: []
Index: [0, 1, 2, 3, 4]

3.2. 填充NaN值

除了删除NaN值外，我们还可以使用不同的方法来填充NaN值。常用的方法有填充固定值、均值、中位数等。

3.2.1. 填充固定值

我们可以使用fillna()方法来填充固定值，例如填充0。

print(df.fillna(0))

运行以上代码，我们将得到填充固定值后的结果：

     A     B     C
0  1.0   6.0  11.0
1  2.0   0.0  12.0
2  0.0   8.0  13.0
3  4.0   9.0   0.0
4  5.0  10.0  15.0

3.2.2. 填充均值

我们也可以使用均值来填充NaN值。首先计算每列的均值：

means = df.mean()
print(means)

运行以上代码，我们将得到每列的均值：

A    3.0
B    8.6
C   12.2
dtype: float64

然后使用均值来填充NaN值：

print(df.fillna(means))

运行以上代码，我们将得到使用均值填充NaN值后的结果：

     A     B     C
0  1.0   6.0  11.0
1  2.0   8.6  12.0
2  3.0   8.0  13.0
3  4.0   9.0  12.2
4  5.0  10.0  15.0

结论

在数据处理中，NaN值的处理是至关重要的。通过本文的介绍，我们学习了如何检测和处理pandas dataframe中的NaN值。根据实际情况，我们可以选择删除NaN值或者填充合适的值来处理缺失数据，从而保证数据分析的准确性和可靠性。

pandas dataframe中的NaN值处理