PySpark 序列化
序列化在Apache Spark上用于性能调整。在网络上发送或写入磁盘或存储在内存中的所有数据都应该被序列化。序列化在耗时操作中起着重要的作用。
PySpark支持自定义序列化程序进行性能调优。PySpark支持以下两种序列化程序:
MarshalSerializer
使用Python的Marshal序列化程序对对象进行序列化。此序列化程序比PickleSerializer更快,但支持的数据类型较少。
PickleSerializer
使用Python的Pickle Serializer对对象进行序列化。此序列化器支持几乎任何Python对象,但可能不像更专门的序列化器那样快速。
让我们来看一个使用PySpark序列化的例子。这里,我们使用MarshalSerializer来对数据进行序列化。
命令 − 命令如下 −
输出 - 上述命令的输出是 –