numpy fillna

1. 引言

在数据分析和处理过程中，经常会遇到数据缺失的情况。缺失的数据可能对后续的统计分析和机器学习等任务产生不良影响。为了解决这个问题，numpy提供了fillna函数来处理缺失值。本文将详细介绍numpy fillna函数的用法和示例。

2. fillna函数的基本用法

fillna函数的文档定义如下：

numpy.ndarray.fillna(value, method=None, axis=None, inplace=False, limit=None, downcast=None, **kwargs)

下面是对这些参数的解释：

• value: 用于填充缺失值的值。可以是一个具体的数值，也可以是一个字典、序列或DataFrame等数据结构。
• method: 指定填充缺失值的方法。默认为None，即不使用任何方法。
• axis: 指定按照哪个轴进行填充。默认为None，即按照flatten后的数组填充。
• inplace: 是否对原始数组进行就地修改。默认为False，即返回新的填充后的数组。
• limit: 指定每个轴上的连续缺失值的最大填充数量。
• downcast: 指定返回数组的数据类型，可选值有’integer’、’signed’、’unsigned’、’float’、’complex’等。

现在让我们逐个解释这些参数的具体用法，并通过示例代码进行演示。

3. value参数的用法

value参数用于指定填充缺失值的值。它可以是一个具体的数值，也可以是一个字典、序列或DataFrame等数据结构。

3.1 填充数值类型

当value参数是一个具体的数值时，fillna函数会使用该数值填充所有缺失值。

示例代码：

import numpy as np

arr = np.array([1, 2, np.nan, 4, np.nan])
filled_arr = np.nan_to_num(arr, nan=-1)
print(filled_arr)

输出：

[ 1.  2. -1.  4. -1.]

在上面的示例中，数组arr中的缺失值被填充为-1。

3.2 填充字典类型

当value参数是一个字典时，fillna函数可以根据字典中的键值对，将对应的缺失值填充为相应的值。

示例代码：

import numpy as np

arr = np.array([1, 2, np.nan, 4, np.nan])
filled_arr = np.nan_to_num(arr, nan={2: -1, 4: -2})
print(filled_arr)

输出：

[ 1.  2. -1.  4. -2.]

在上面的示例中，数组arr中的缺失值根据字典nan的键值对进行填充。

3.3 填充序列类型

当value参数是一个序列时，fillna函数会将该序列的值循环使用，填充每个缺失值。

示例代码：

import numpy as np

arr = np.array([1, 2, np.nan, 4, np.nan])
filled_arr = np.nan_to_num(arr, nan=[10, 20])
print(filled_arr)

输出：

[ 1.  2. 10.  4. 20.]

在上面的示例中，数组arr中的缺失值使用序列[10, 20]循环填充。

3.4 填充DataFrame类型

当value参数是一个DataFrame时，fillna函数会根据DataFrame中的值填充缺失值。

示例代码：

import numpy as np
import pandas as pd

data = pd.DataFrame({'A': [1, np.nan, 3], 'B': [4, 5, np.nan]})
filled_data = data.fillna(value={'A': 0, 'B': 10})
print(filled_data)

输出：

     A     B
0  1.0   4.0
1  0.0   5.0
2  3.0  10.0

在上面的示例中，DataFrame中的缺失值根据字典的键值对进行填充。

4. method参数的用法

method参数用于指定填充缺失值的方法。常用的方法有’ffill’和’bfill’，分别表示使用前向填充和后向填充的方式。

示例代码：

import numpy as np

arr = np.array([1, np.nan, 2, 3, np.nan, 4])
filled_arr_ffill = np.nan_to_num(arr, method='ffill')
filled_arr_bfill = np.nan_to_num(arr, method='bfill')
print(filled_arr_ffill)
print(filled_arr_bfill)

输出：

[1. 1. 2. 3. 3. 4.]
[1. 2. 2. 3. 4. 4.]

在上面的示例中，数组arr中的缺失值分别使用前向填充和后向填充的方式进行填充。

5. axis参数的用法

axis参数用于指定按照哪个轴进行填充。默认情况下，fillna函数按照flatten后的数组填充。

示例代码：

import numpy as np

arr = np.array([[1, np.nan, np.nan], [4, np.nan, np.nan]])
filled_arr = np.nan_to_num(arr, axis=1)
print(filled_arr)

输出：

[[1. 0. 0.]
 [4. 0. 0.]]

在上面的示例中，数组arr中的缺失值按照行（轴1）进行填充。

6. limit参数的用法

limit参数用于指定每个轴上的连续缺失值的最大填充数量。

示例代码：

import numpy as np

arr = np.array([1, np.nan, np.nan, 2, 3, np.nan, np.nan])
filled_arr = np.nan_to_num(arr, limit=1)
print(filled_arr)

输出：

[ 1.  0.  0.  2.  3.  0.  0.]

在上面的示例中，数组arr中每个轴上的连续缺失值最多只能填充1个。

7. downcast参数的用法

downcast参数用于指定返回数组的数据类型。

示例代码：

import numpy as np

arr = np.array([1, 2, np.nan])
filled_arr = np.nan_to_num(arr, downcast='integer')
print(filled_arr)
print(filled_arr.dtype)

输出：

[1 2 0]
int32

在上面的示例中，数组arr中的缺失值被填充为整数类型。

8. 总结

本文详续上，我们详细介绍了numpy fillna函数的各个参数的用法和示例代码。通过使用value参数，我们可以灵活地填充缺失值，可以是具体的数值、字典、序列或DataFrame等数据结构。我们还了解了method参数的使用方式，可以选择使用前向填充或后向填充的方法。此外，我们学习了axis参数的作用，可以指定按照哪个轴进行填充；limit参数可以限制每个轴上连续缺失值的最大填充数量；downcast参数可以指定返回数组的数据类型。

需要注意的是，fillna函数会返回新的填充后的数组，而不会对原始数组进行修改。如果想就地修改原始数组，可以将inplace参数设置为True。

除了fillna函数，numpy还提供了其他一些处理缺失值的函数，例如numpy.nanmean、numpy.nanstd等。这些函数可以方便地处理含有缺失值的数组，并进行统计分析。

在实际的数据处理和分析中，填充缺失值是一个常见的需求。使用numpy fillna函数可以方便地处理缺失值，提高数据处理的效率和准确性。