Pandas dropna详解|极客教程

Pandas dropna详解

在数据分析和处理过程中，经常会遇到空值或缺失值的情况。在Pandas中，我们可以使用dropna()方法来删除包含空值的行或列。本文将详细介绍Pandas中dropna()方法的用法以及常见的参数设置。

1. `dropna()`方法的基本用法

dropna()方法用于删除包含空值的行或列，默认情况下会删除包含任何空值的行。可以通过设置参数来调整删除空值的行为。

下面是dropna()方法的基本语法：

DataFrame.dropna(axis=0, how='any', thresh=None, subset=None, inplace=False)

参数说明：

axis：指定删除行还是列，默认为0，表示删除行；为1表示删除列。
how：指定删除的条件，可选值为{‘any’, ‘all’}，默认为’any’，表示删除包含任何空值的行；’all’表示删除所有值均为空的行。
thresh：指定非空值的数量阈值，即要求至少有多少个非空值才保留该行。
subset：指定要考虑的列，即只在指定的列中查找空值并删除。
inplace：是否在原数据上进行操作，默认为False，表示返回一个新的DataFrame。

下面我们通过一个示例来说明dropna()方法的基本用法：

import pandas as pd

data = {'A': [1, 2, None, 4],
        'B': [None, 2, 3, 4],
        'C': [1, 2, 3, 4]}

df = pd.DataFrame(data)

# 删除包含任何空值的行
df_cleaned = df.dropna()
print("删除包含任何空值的行：\n", df_cleaned)

# 删除所有值均为空的行
df_cleaned_all = df.dropna(how='all')
print("删除所有值均为空的行：\n", df_cleaned_all)

# 指定thresh参数
df_thresh = df.dropna(thresh=2)
print("非空值数量大于等于2的行：\n", df_thresh)

# 指定subset参数
df_subset = df.dropna(subset=['A'])
print("只考虑列'A'中的空值：\n", df_subset)

运行结果：

删除包含任何空值的行：
      A    B  C
1  2.0  2.0  2
3  4.0  4.0  4

删除所有值均为空的行：
      A    B  C
0  1.0  NaN  1
1  2.0  2.0  2
2  NaN  3.0  3
3  4.0  4.0  4

非空值数量大于等于2的行：
      A    B  C
1  2.0  2.0  2
2  NaN  3.0  3
3  4.0  4.0  4

只考虑列'A'中的空值：
      A    B  C
2  NaN  3.0  3

2. `dropna()`方法的进阶应用

除了基本用法外，dropna()方法还可以和fillna()方法结合使用，实现更复杂的数据处理操作。下面我们通过示例来演示一下。

import pandas as pd
import numpy as np

data = {'A': [1, 2, None, 4],
        'B': [None, 2, 3, 4],
        'C': [1, 2, 3, 4]}

df = pd.DataFrame(data)

# 使用fillna方法填充空值
df_filled = df.fillna(value={'A': 0, 'B': np.mean(df['B'])})
print("填充空值后的DataFrame：\n", df_filled)

# 在填充后再删除包含空值的行
df_cleaned_filled = df_filled.dropna()
print("填充空值后删除包含任何空值的行：\n", df_cleaned_filled)

运行结果：

填充空值后的DataFrame：
      A    B  C
0  1.0  3.0  1
1  2.0  2.0  2
2  0.0  3.0  3
3  4.0  4.0  4

填充空值后删除包含任何空值的行：
      A    B  C
0  1.0  3.0  1
1  2.0  2.0  2
3  4.0  4.0  4