PySpark 序列化器

序列化被用于Apache Spark的性能调整。所有通过网络发送或写入磁盘或持久化在内存中的数据都应该被序列化。序列化在昂贵的操作中起着重要的作用。

PySpark支持用于性能调优的自定义序列化器。PySpark支持以下两个序列化器-

MarshalSerializer

使用Python的Marshal序列化器来序列化对象。这个序列化器比PickleSerializer快，但支持的数据类型较少。

class pyspark.MarshalSerializer

PickleSerializer

使用 Python 的 Pickle 序列器来序列化对象。这个序列化器几乎支持所有的Python对象，但可能不如更专业的序列化器快。

class pyspark.PickleSerializer

让我们看一个关于PySpark序列化的例子。在这里，我们使用MarshalSerializer对数据进行序列化。

--------------------------------------serializing.py-------------------------------------
from pyspark.context import SparkContext
from pyspark.serializers import MarshalSerializer
sc = SparkContext("local", "serialization app", serializer = MarshalSerializer())
print(sc.parallelize(list(range(1000))).map(lambda x: 2 * x).take(10))
sc.stop()
--------------------------------------serializing.py-------------------------------------

命令 - 命令如下-

$SPARK_HOME/bin/spark-submit serializing.py

输出 - 上述命令的输出是 —

[0, 2, 4, 6, 8, 10, 12, 14, 16, 18]