PySpark 如何将行拆分为多行在 Pyspark

在本文中，我们将介绍如何在 PySpark 中将行拆分为多行。

阅读更多：PySpark 教程

什么是 PySpark？

PySpark 是 Apache Spark 的 Python API。它提供了一个用于大规模数据处理和分析的高级编程接口。PySpark 具有分布式计算功能，可以处理大规模的数据集，并通过在集群上运行来提高处理速度。

在 Pyspark 中将行拆分为多行

在 PySpark 中，我们可以使用 split 函数将字符串拆分为多个子字符串。split 函数采用一个分隔符作为参数，并返回由拆分后的子字符串组成的列表。

以下是将行拆分为多行的示例代码：

from pyspark.sql import SparkSession

# 创建 SparkSession
spark = SparkSession.builder.getOrCreate()

# 创建示例数据帧
data = [("Alice, Bob, Carol, David"), ("Eve, Frank, Grace, Heather"), ("Ivan, Jack, Kate, Leo")]
df = spark.createDataFrame(data, ["names"])

# 将行拆分为多行
df = df.withColumn("names", split(df.names, ", ")).selectExpr("names[0]", "names[1]", "names[2]", "names[3]")

# 显示结果
df.show()

在上述示例中，我们首先创建了一个包含 names 字段的数据帧 df。然后，我们使用 split 函数将每一行的 names 字符串拆分为多个子字符串，并将结果存储在新的 names 列中。最后，我们选择新的 names 列的前四个元素，以得到拆分后的多行数据。

运行上述示例代码，将输出以下结果：

+-----+-----+---+-------+
|names|names|...|names  |
+-----+-----+---+-------+
|Alice| Bob |...| David |
| Eve |Frank|...|Heather|
| Ivan| Jack|...|  Leo  |
+-----+-----+---+-------+

由此可见，我们成功地将每行的字符串拆分为多个子字符串，并将结果展示为多行数据。

总结

本文介绍了如何在 PySpark 中将行拆分为多行。通过使用 split 函数，我们可以将字符串按照指定的分隔符拆分为多个子字符串，并将拆分后的结果存储在新的列中。这在处理包含多个值的单个字段时非常有用，使得数据处理更加方便和灵活。

以上就是本文的全部内容，希望对您在 PySpark 中拆分行为多行有所帮助。