PySpark : 使用上一个观察值填充缺失值

在本文中，我们将介绍如何使用PySpark中的DataFrame对缺失值进行填充。具体地说，我们将使用前向填充法（forward fill）来使用上一个观察值填充缺失值。

1. 了解缺失值

在开始填充缺失值之前，让我们先了解一下什么是缺失值。在数据中，缺失值是指没有提供或没有记录的数据值。在大多数情况下，缺失值是由于数据采集或记录过程中的错误或遗漏导致的。缺失值可能会影响数据的质量和准确性，因此我们需要考虑如何处理它们。

2. 创建DataFrame

首先，我们需要创建一个包含缺失值的DataFrame。在这个示例中，我们将创建一个包含两列（”date”和”value”）的DataFrame，其中”date”列包含一些日期，”value”列包含一些数值。

from pyspark.sql import SparkSession
from pyspark.sql.functions import col, lag, when
from pyspark.sql.window import Window

# 创建SparkSession
spark = SparkSession.builder.getOrCreate()

# 创建示例数据
data = [("2021-01-01", 10),
        ("2021-03-01", 20),
        ("2021-04-01", None),
        ("2021-06-01", 30),
        ("2021-08-01", None),
        ("2021-10-01", 40)]

df = spark.createDataFrame(data, ["date", "value"])
df.show()

输出：

+----------+-----+
|      date|value|
+----------+-----+
|2021-01-01|   10|
|2021-03-01|   20|
|2021-04-01| null|
|2021-06-01|   30|
|2021-08-01| null|
|2021-10-01|   40|
+----------+-----+

3. 使用前向填充法填充缺失值

使用前向填充法，我们可以使用前一个观察值来填充缺失值。在PySpark中，我们可以使用lag函数来获取前一个观察值。下面的代码演示了如何使用前向填充法填充DataFrame中的缺失值：

# 定义窗口规格
windowSpec = Window.orderBy("date")

# 使用lag函数获取前一个观察值
df = df.withColumn("filled_value", lag("value").over(windowSpec))

# 当值为空时，使用前一个观察值填充
df = df.withColumn("filled_value", when(col("value").isNull(), col("filled_value")).otherwise(col("value")))

df.show()

输出：

+----------+-----+-------------+
|      date|value|filled_value|
+----------+-----+-------------+
|2021-01-01|   10|           10|
|2021-03-01|   20|           20|
|2021-04-01| null|           20|
|2021-06-01|   30|           30|
|2021-08-01| null|           30|
|2021-10-01|   40|           40|
+----------+-----+-------------+

如上所示，我们成功地使用前一个观察值填充了缺失值。注意，在使用前向填充法时，DataFrame的顺序很重要，因为我们是按照日期的顺序进行填充的。