PySpark 如何在PySpark数据框展示中设置显示精度

在本文中，我们将介绍如何在PySpark数据框展示中设置显示精度。默认情况下，PySpark数据框显示的数值精度是较低的，通常只显示两位小数。然而，在一些情况下，我们需要更高的精度来满足我们的需求。在下面的文章中，我们将探讨如何通过使用PySpark的内置函数和自定义函数来设置数据框的显示精度。

阅读更多：PySpark 教程

了解PySpark数据框

在深入探讨如何设置显示精度之前，首先让我们了解一下PySpark数据框。PySpark数据框是一种分布式数据集，类似于关系数据库中的表。它具有多个列和行，并且每列具有自己的数据类型。通过使用PySpark数据框，我们可以进行各种数据操作，包括筛选、聚合、排序和转换等。

设置PySpark数据框的显示精度

在PySpark中，我们可以使用format_number函数来设置数据框的显示精度。format_number函数接受两个参数：要格式化的数值列和要显示的小数位数。以下是设置显示精度的示例：

from pyspark.sql import SparkSession
from pyspark.sql.functions import format_number

# 创建SparkSession
spark = SparkSession.builder.getOrCreate()

# 创建包含数值列的数据框
data = [(1, 10.123456789), (2, 20.987654321), (3, 30.141592653)]
df = spark.createDataFrame(data, ["id", "value"])

# 设置显示精度为4位小数
df.withColumn("formatted_value", format_number("value", 4)).show()

运行上述代码，我们可以看到输出结果如下：

+---+------------------+---------------+
| id|             value|formatted_value|
+---+------------------+---------------+
|  1|        10.1234567|      10.1235  |
|  2|        20.9876543|      20.9877  |
|  3|        30.1415927|      30.1416  |
+---+------------------+---------------+

如上所示，我们使用withColumn方法创建了一个新的列formatted_value，其中包含了设置了4位小数精度的数值列value。使用format_number函数对数据进行格式化，并将结果显示在数据框中。

自定义函数设置显示精度

除了使用内置的format_number函数，我们还可以使用自定义函数来设置PySpark数据框的显示精度。下面是使用自定义函数的示例：

from pyspark.sql import SparkSession
from pyspark.sql.functions import udf
from decimal import Decimal, ROUND_HALF_UP

# 创建SparkSession
spark = SparkSession.builder.getOrCreate()

# 创建包含数值列的数据框
data = [(1, 10.123456789), (2, 20.987654321), (3, 30.141592653)]
df = spark.createDataFrame(data, ["id", "value"])

# 定义自定义函数
round_udf = udf(lambda value: Decimal(value).quantize(Decimal('0.0000'), rounding=ROUND_HALF_UP), Decimal(8, 4))

# 使用自定义函数设置显示精度
df.withColumn("formatted_value", round_udf("value")).show()

运行上述代码，我们可以得到与之前相同的输出结果。在这个示例中，我们定义了一个自定义函数round_udf，它将数值列的精度设置为4位小数，并采用四舍五入的方式进行取舍。