PySpark 处理连接中的 NULL 值

在本文中，我们将介绍如何在 PySpark 中处理连接操作中的 NULL 值。在数据处理过程中，经常需要进行表的连接操作，而在连接过程中，往往会遇到 NULL 值的情况。NULL 值表示缺少或未知的数据，处理 NULL 值是数据处理的重要一环，特别是在连接操作中。本文将介绍 PySpark 中处理连接中的 NULL 值的几种常用方法和示例。

阅读更多：PySpark 教程

1. 使用 coalesce 函数

coalesce 函数用于从给定的一组列中选择第一个非 NULL 值。当进行表的连接操作时，可以使用 coalesce 函数来处理连接字段中的 NULL 值。下面是一个使用 coalesce 函数处理连接中的 NULL 值的示例：

from pyspark.sql.functions import col, coalesce

# 创建 DataFrame 1
data1 = [(1, "Alice"), (2, "Bob"), (3, None)]
columns1 = ["id", "name"]
df1 = spark.createDataFrame(data1, columns1)

# 创建 DataFrame 2
data2 = [(1, "Engineer"), (2, None), (3, "Manager")]
columns2 = ["id", "title"]
df2 = spark.createDataFrame(data2, columns2)

# 使用 coalesce 函数处理 NULL 值
joined_df = df1.join(df2, on="id", how="inner").select(df1["id"], coalesce(df1["name"], df2["title"]).alias("name"))

# 打印结果
joined_df.show()

该示例中，我们创建了两个 DataFrame，分别包含 id 和 name 字段，以及 id 和 title 字段。其中 df1 的第三行的 name 字段为 NULL，df2 的第二行的 title 字段为 NULL。使用 coalesce 函数处理连接过程中的 NULL 值，选择非 NULL 的值作为连接结果。输出结果如下：

+---+-------+
| id|   name|
+---+-------+
|  1|  Alice|
|  2|    Bob|
|  3|Manager|
+---+-------+

通过使用 coalesce 函数，我们成功地处理了连接过程中的 NULL 值。

2. 使用 when 函数

when 函数用于条件判断，在连接操作中可以使用 when 函数处理连接字段中的 NULL 值。下面是一个使用 when 函数处理连接中的 NULL 值的示例：

from pyspark.sql.functions import col, when

# 使用 when 函数处理 NULL 值
joined_df = df1.join(df2, on="id", how="inner").select(df1["id"], when(col("name").isNull(), df2["title"]).otherwise(df1["name"]).alias("name"))

# 打印结果
joined_df.show()

该示例中，我们使用 when 函数处理连接过程中的 NULL 值，当 name 字段为 NULL 时，选择 df2 的 title 字段作为连接结果；否则选择 df1 的 name 字段作为连接结果。输出结果如下：

+---+-------+
| id|   name|
+---+-------+
|  1|  Alice|
|  2|    Bob|
|  3|Manager|
+---+-------+

通过使用 when 函数，我们也成功地处理了连接过程中的 NULL 值。

3. 使用 fillna 函数

fillna 函数用于填充 DataFrame 中的 NULL 值。在连接操作中，可以使用 fillna 函数填充连接字段中的 NULL 值。下面是一个使用 fillna 函数填充连接中的 NULL 值的示例：

from pyspark.sql.functions import col

# 使用 fillna 函数填充 NULL 值
filled_df1 = df1.fillna({"name": "N/A"})
filled_df2 = df2.fillna({"title": "N/A"})

# 进行连接操作
joined_df = filled_df1.join(filled_df2, on="id", how="inner").select(filled_df1["id"], filled_df1["name"])

# 打印结果
joined_df.show()

该示例中，我们使用 fillna 函数填充连接过程中的 NULL 值，将 name 字段的 NULL 值填充为 “N/A” ，将 title 字段的 NULL 值填充为 “N/A” 。然后进行连接操作，选择填充后的 name 字段作为连接结果。输出结果如下：

+---+-------+
| id|   name|
+---+-------+
|  1|  Alice|
|  2|    Bob|
|  3|    N/A|
+---+-------+

通过使用 fillna 函数，我们同样成功地处理了连接过程中的 NULL 值。

总结

本文介绍了在 PySpark 中处理连接操作中的 NULL 值的几种常用方法。我们可以使用 coalesce 函数选择非 NULL 值，使用 when 函数进行条件判断，或者使用 fillna 函数填充 NULL 值。根据具体情况选择合适的方法来处理连接过程中的 NULL 值，确保数据的完整性和准确性。

以上是关于 PySpark 处理连接中的 NULL 值的内容。希望对你理解 PySpark 中的连接操作和处理 NULL 值有所帮助。