PySpark SparkConf类

PySpark SparkConf类

在本地/集群上运行Spark应用程序,您需要设置一些配置和参数,这就是SparkConf的作用。它提供了运行Spark应用程序的配置。下面的代码块中详细介绍了PySpark的SparkConf类的细节。

class pyspark.SparkConf (
   loadDefaults = True, 
   _jvm = None, 
   _jconf = None
)

首先,我们将使用 SparkConf() 创建一个 SparkConf 对象,它将从 Java 系统属性中加载值。 **spark.*** 您现在可以使用 SparkConf 对象设置不同的参数,并且它们的参数优先级高于系统属性。

在 SparkConf 类中,有一些支持链接的设置方法。例如,您可以编写 conf.setAppName(“PySpark App”).setMaster(“local”) 一旦我们将 SparkConf 对象传递给 Apache Spark,任何用户都无法修改它。

以下是 SparkConf 的一些常用属性:

  • set(key, value) - 设置一个配置属性。

  • setMaster(value) - 设置主节点 URL。

  • setAppName(value) - 设置应用程序名称。

  • get(key, defaultValue=None) - 获取一个配置键的值。

  • setSparkHome(value) - 在工作节点上设置 Spark 安装路径。

让我们考虑在 PySpark 程序中使用 SparkConf 的以下示例。在此示例中,我们将 spark 应用程序名称设置为 PySpark App ,并将 spark 应用程序的主节点 URL 设置为 → spark://master:7077

以下代码块中的这些行,在添加到 Python 文件时,设置了运行 PySpark 应用程序的基本配置。

---------------------------------------------------------------------------------------
from pyspark import SparkConf, SparkContext
conf = SparkConf().setAppName("PySpark App").setMaster("spark://master:7077")
sc = SparkContext(conf=conf)
---------------------------------------------------------------------------------------

Python教程

Java教程

Web教程

数据库教程

图形图像教程

大数据教程

开发工具教程

计算机教程