使用NumPy处理缺失值|极客教程

使用NumPy处理缺失值

在数据处理和分析中，经常会遇到缺失值的情况。NumPy提供了一些方法来处理缺失值，其中最常用的是np.nan。在本文中，我们将介绍如何使用NumPy来处理缺失值。

创建包含缺失值的数组

首先，让我们创建一个包含缺失值的数组。我们可以使用np.nan来表示缺失值。

import numpy as np

# 创建一个包含缺失值的数组
arr = np.array([1, 2, np.nan, 4, 5])
print(arr)

Output:

使用NumPy处理缺失值

检测缺失值

在处理数据时，我们经常需要检测数组中的缺失值。NumPy提供了np.isnan()函数来检测缺失值。

import numpy as np

# 创建一个包含缺失值的数组
arr = np.array([1, 2, np.nan, 4, 5])

# 检测缺失值
mask = np.isnan(arr)
print(mask)

Output:

使用NumPy处理缺失值

删除缺失值

有时候我们希望将数组中的缺失值删除，可以使用np.isnan()和布尔索引来实现。

import numpy as np

# 创建一个包含缺失值的数组
arr = np.array([1, 2, np.nan, 4, 5])

# 删除缺失值
arr_cleaned = arr[~np.isnan(arr)]
print(arr_cleaned)

Output:

使用NumPy处理缺失值

替换缺失值

另一种处理缺失值的方法是将缺失值替换为指定的值。我们可以使用np.nan_to_num()函数来实现。

import numpy as np

# 创建一个包含缺失值的数组
arr = np.array([1, 2, np.nan, 4, 5])

# 替换缺失值
arr_replaced = np.nan_to_num(arr, nan=0)
print(arr_replaced)

Output:

使用NumPy处理缺失值

计算缺失值的个数

有时候我们需要统计数组中缺失值的个数，可以使用np.isnan()和np.sum()函数来实现。

import numpy as np

# 创建一个包含缺失值的数组
arr = np.array([1, 2, np.nan, 4, 5])

# 计算缺失值的个数
count_nan = np.sum(np.isnan(arr))
print(count_nan)

Output:

使用NumPy处理缺失值

填充缺失值

除了删除或替换缺失值外，我们还可以使用其他值来填充缺失值。NumPy提供了np.nan_to_num()函数来实现。

import numpy as np

# 创建一个包含缺失值的数组
arr = np.array([1, 2, np.nan, 4, 5])

# 填充缺失值
arr_filled = np.nan_to_num(arr, nan=-1)
print(arr_filled)

Output:

使用NumPy处理缺失值

使用插值填充缺失值

有时候我们希望根据已知的数据来进行插值填充缺失值。NumPy提供了np.interp()函数来实现。

import numpy as np

# 创建一个包含缺失值的数组
arr = np.array([1, 2, np.nan, 4, 5])

# 使用插值填充缺失值
arr_interp = np.interp(np.arange(len(arr)), np.arange(len(arr))[~np.isnan(arr)], arr[~np.isnan(arr)])
print(arr_interp)

Output:

使用NumPy处理缺失值

处理多维数组中的缺失值

除了一维数组外，我们还可以处理多维数组中的缺失值。下面是一个示例代码。

import numpy as np

# 创建一个包含缺失值的数组
arr = np.array([1, 2, np.nan, 4, 5])

# 创建一个包含缺失值的多维数组
arr_2d = np.array([[1, 2, np.nan], [4, np.nan, 6], [7, 8, 9]])
print(arr_2d)

Output:

使用NumPy处理缺失值

删除多维数组中的缺失值

对于多维数组，我们可以使用np.isnan()和布尔索引来删除缺失值。

import numpy as np

# 创建一个包含缺失值的数组
arr = np.array([1, 2, np.nan, 4, 5])

# 删除多维数组中的缺失值
arr_2d_cleaned = arr_2d[~np.isnan(arr_2d)]
print(arr_2d_cleaned)

替换多维数组中的缺失值

同样，我们也可以使用np.nan_to_num()函数来替换多维数组中的缺失值。

import numpy as np

# 创建一个包含缺失值的数组
arr = np.array([1, 2, np.nan, 4, 5])

# 替换多维数组中的缺失值
arr_2d_replaced = np.nan_to_num(arr_2d, nan=0)
print(arr_2d_replaced)

计算多维数组中的缺失值个数

统计多维数组中的缺失值个数也是很有用的操作。

import numpy as np

# 创建一个包含缺失值的数组
arr = np.array([1, 2, np.nan, 4, 5])

# 计算多维数组中的缺失值个数
count_nan_2d = np.sum(np.isnan(arr_2d))
print(count_nan_2d)

填充多维数组中的缺失值

填充多维数组中的缺失值也是一种常见的操作。

import numpy as np

# 创建一个包含缺失值的数组
arr = np.array([1, 2, np.nan, 4, 5])

# 填充多维数组中的缺失值
arr_2d_filled = np.nan_to_num(arr_2d, nan=-1)
print(arr_2d_filled)

使用插值填充多维数组中的缺失值

对于多维数组，我们也可以使用插值来填充缺失值。

import numpy as np

# 创建一个包含缺失值的数组
arr = np.array([1, 2, np.nan, 4, 5])

# 使用插值填充多维数组中的缺失值
arr_2d_interp = np.array([np.interp(np.arange(len(row)), np.arange(len(row))[~np.isnan(row)], row[~np.isnan(row)]) for row in arr_2d])
print(arr_2d_interp)