Pandas中处理NaN值的方法|极客教程

Pandas中处理NaN值的方法

在数据分析和数据科学领域，处理缺失值是一个常见且重要的任务。Pandas库提供了多种处理NaN（Not a Number，非数字）值的方法，帮助数据科学家进行数据清洗和预处理。本文将详细介绍如何在Pandas中处理NaN值，包括检测、替换、过滤等多种操作，并提供详尽的示例代码。

1. 检测NaN值

在处理缺失值之前，首先需要检测数据中的NaN值。Pandas提供了isna()和notna()两个函数来帮助识别缺失值。

示例代码1：使用`isna()`检测NaN值

import pandas as pd
import numpy as np

data = {'column1': [1, 2, np.nan, 4],
        'column2': ['pandasdataframe.com', 'example', 'test', 'data']}
df = pd.DataFrame(data)
print(df.isna())

Output:

Pandas中处理NaN值的方法

示例代码2：使用`notna()`检测非NaN值

import pandas as pd
import numpy as np

data = {'column1': [1, 2, np.nan, 4],
        'column2': ['pandasdataframe.com', 'example', 'test', 'data']}
df = pd.DataFrame(data)
print(df.notna())

Output:

Pandas中处理NaN值的方法

2. 替换NaN值

替换NaN值是处理缺失数据的常用方法。可以使用fillna()函数来替换NaN值。

示例代码3：使用常数值替换NaN

import pandas as pd
import numpy as np

data = {'column1': [np.nan, 2, np.nan, 4],
        'column2': ['pandasdataframe.com', 'example', 'test', 'data']}
df = pd.DataFrame(data)
df.fillna(0, inplace=True)
print(df)

Output:

Pandas中处理NaN值的方法

示例代码4：使用前一个值替换NaN

import pandas as pd
import numpy as np

data = {'column1': [np.nan, 2, np.nan, 4],
        'column2': ['pandasdataframe.com', 'example', 'test', 'data']}
df = pd.DataFrame(data)
df.fillna(method='ffill', inplace=True)
print(df)

示例代码5：使用后一个值替换NaN

import pandas as pd
import numpy as np

data = {'column1': [np.nan, 2, np.nan, 4],
        'column2': ['pandasdataframe.com', 'example', 'test', 'data']}
df = pd.DataFrame(data)
df.fillna(method='bfill', inplace=True)
print(df)

3. 删除含NaN值的行或列

有时候，最简单的处理NaN值的方法是直接删除含有NaN值的行或列。可以使用dropna()函数来实现。

示例代码6：删除含有NaN的行

import pandas as pd
import numpy as np

data = {'column1': [1, np.nan, 3, 4],
        'column2': ['pandasdataframe.com', 'example', 'test', 'data']}
df = pd.DataFrame(data)
df.dropna(inplace=True)
print(df)

Output:

Pandas中处理NaN值的方法

示例代码7：删除含有NaN的列

import pandas as pd
import numpy as np

data = {'column1': [1, np.nan, 3, 4],
        'column2': ['pandasdataframe.com', 'example', 'test', 'data']}
df = pd.DataFrame(data)
df.dropna(axis=1, inplace=True)
print(df)

Output:

Pandas中处理NaN值的方法

4. 使用`where()`函数处理NaN值

where()函数可以用来替换不满足条件的值为NaN，或者根据条件保留原值。

示例代码8：使用`where()`将小于3的值替换为NaN

import pandas as pd
import numpy as np

data = {'column1': [1, 2, 3, 4],
        'column2': [1, 2, 3, 4]}
df = pd.DataFrame(data)
df = df.where(df >= 3)
print(df)

Output:

Pandas中处理NaN值的方法

示例代码9：使用`where()`结合其他条件

import pandas as pd
import numpy as np

data = {'column1': [1, 2, 3, 4],
        'column2': [1, 2, 3, 4]}
df = pd.DataFrame(data)
df['column1'] = df['column1'].where(df['column1'] >= 3, 'pandasdataframe.com')
print(df)

Output:

Pandas中处理NaN值的方法

5. 结合使用`where()`和`fillna()`

有时候，我们需要结合使用where()和fillna()来更灵活地处理数据。

示例代码10：结合使用`where()`和`fillna()`

import pandas as pd
import numpy as np

data = {'column1': [1, 2, 3, 4],
        'column2': [1, 2, 3, 4]}
df = pd.DataFrame(data)
df = df.where(df >= 3).fillna('pandasdataframe.com')
print(df)

Output:

Pandas中处理NaN值的方法