PySpark SparkFiles
在Apache Spark中,你可以使用 sc.addFile 上传你的文件(sc是你默认的SparkContext),并使用 SparkFiles.get 在worker上获得路径 。 因此,SparkFiles解决了通过 SparkContext.addFile() 添加的文件的路径 。
SparkFiles包含以下类方法:
- get(filename)
- getrootdirectory()
让我们来详细了解一下它们。
get(filename)
它指定了通过SparkContext.addFile()添加的文件的路径。
getrootdirectory()
它指定了根目录的路径,该目录包含了通过SparkContext.addFile()添加的文件。
命令 - 命令如下-
输出 - 上述命令的输出是 —