PySpark 序列化

序列化在Apache Spark上用于性能调整。在网络上发送或写入磁盘或存储在内存中的所有数据都应该被序列化。序列化在耗时操作中起着重要的作用。

PySpark支持自定义序列化程序进行性能调优。PySpark支持以下两种序列化程序：

MarshalSerializer

使用Python的Marshal序列化程序对对象进行序列化。此序列化程序比PickleSerializer更快，但支持的数据类型较少。

class pyspark.MarshalSerializer

PickleSerializer

使用Python的Pickle Serializer对对象进行序列化。此序列化器支持几乎任何Python对象，但可能不像更专门的序列化器那样快速。

class pyspark.PickleSerializer

让我们来看一个使用PySpark序列化的例子。这里，我们使用MarshalSerializer来对数据进行序列化。

--------------------------------------serializing.py-------------------------------------
from pyspark.context import SparkContext
from pyspark.serializers import MarshalSerializer
sc = SparkContext("local", "serialization app", serializer = MarshalSerializer())
print(sc.parallelize(list(range(1000))).map(lambda x: 2 * x).take(10))
sc.stop()
--------------------------------------serializing.py-------------------------------------

命令 − 命令如下 −

$SPARK_HOME/bin/spark-submit serializing.py

输出 - 上述命令的输出是 –

[0, 2, 4, 6, 8, 10, 12, 14, 16, 18]