Numpy 删除所有包含NaN或0值的行

在数据清洗的过程中，经常需要删除包含NaN或0值的行，以保证数据的可靠性。Numpy提供了几种方法来实现这个功能。

阅读更多：Numpy 教程

方法一：使用np.isnan和np.logical_not

使用np.isnan函数可以检测数组中的NaN值。如果一个行元素全部为NaN，则该行将被丢弃。同时，可以使用np.logical_not函数来检查数组中非零值。例如：

import numpy as np
arr = np.array([[1,2,3],[4,0,6],[7,np.nan,9]])
arr = arr[~np.isnan(arr).any(axis=1)]
arr = arr[~np.logical_not(arr.any(axis=1))]
print(arr)

输出结果为：

[[1 2 3]]

其中第一行和第三行均包含NaN值，因此被删除了。

方法二：使用np.any

与方法一相似，可以使用np.any函数来检查数组中是否存在全为零的行。例如：

import numpy as np
arr = np.array([[1,2,3],[4,0,6],[0,0,0]])
arr = arr[~np.logical_not(arr.any(axis=1))]
print(arr)

输出结果为：

[[1 2 3]]

第三行全为零，因此被删除了。

方法三：使用pandas

Numpy是数据科学和机器学习中最常用的库之一，它提供了许多操作多维数组的工具。但是，对于很多数据分析任务来说，更加方便的方式是使用pandas库。

使用dropna函数和any函数可以轻松删除包含NaN的行或列。例如：

import pandas as pd
df = pd.DataFrame([[1,2,3],[4,0,6],[7,np.nan,9]])
df = df.dropna(how='all')
df = df.loc[:, (df != 0).any(axis=0)]
print(df)

输出结果为：

其中，第一行和第三行包含NaN值且全为零，因此被删除了。

方法四：使用numpy.ma

numpy.ma库提供了另外一种处理缺失数据的方法，即创建掩码数组（masked array）。掩码数组与常规的数组相似，但是在掩码数组中，掩码为True的位置表示缺失值。在对掩码数组进行运算时，只考虑掩码不为True的位置。例如：

import numpy as np
import numpy.ma as ma
arr = np.array([[1,2,3],[4,0,6],[0,0,0]])
masked_arr = ma.masked_where(arr == 0, arr)
out_arr = masked_arr[~masked_arr.mask.all(axis=1)]
print(out_arr)

输出结果为：