大数据

大数据（big data），是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

PySpark 序列化器

2023-03-20admin阅读(142)评论(0)赞(0)

PySpark 序列化器序列化被用于Apache Spark的性能调整。所有通过网络发送或写入磁盘或持久化在内存中的数据都应该被序列化。序列化在昂贵的操作中起着重要的作用。 PySpark支持用于性能调优的自定义序列化器。PySpark支...

2023-03-20admin阅读(154)评论(0)赞(0)

PySpark MLlib Apache Spark提供了一个名为 MLlib 的机器学习API 。 PySpark在Python中也有这种机器学习API。它支持不同种类的算法，下面提到了这些算法 mllib.classification ...

2023-03-20admin阅读(109)评论(0)赞(0)

PySpark StorageLevel StorageLevel决定了RDD应该如何被存储。在Apache Spark中，StorageLevel决定RDD是否应该存储在内存中，还是应该存储在磁盘上，或者两者都存储。它还决定是否对RDD进...

2023-03-20admin阅读(119)评论(0)赞(0)

PySpark SparkFiles 在Apache Spark中，你可以使用 sc.addFile 上传你的文件（sc是你默认的SparkContext），并使用 SparkFiles.get 在worker上获得路径。因此，Spar...

2023-03-20admin阅读(132)评论(0)赞(0)

PySpark SparkConf 为了在本地/集群上运行一个Spark应用程序，你需要设置一些配置和参数，这就是SparkConf的帮助。它提供了运行Spark应用程序的配置。下面的代码块是PySpark的SparkConf类的细节。 c...

2023-03-20admin阅读(126)评论(0)赞(0)

PySpark Broadcast和Accumulator 对于并行处理，Apache Spark使用共享变量。当驱动程序向集群上的执行器发送任务时，共享变量的副本会出现在集群的每个节点上，这样它就可以用来执行任务。有两种类型的共享变量被...

2023-03-20admin阅读(135)评论(0)赞(0)

PySpark RDD 现在我们已经在我们的系统上安装和配置了PySpark，我们可以在Apache Spark上用Python编程。然而，在这样做之前，让我们了解Spark中的一个基本概念 – RDD。 RDD是 Resili...

2023-03-20admin阅读(157)评论(0)赞(0)

PySpark SparkContext SparkContext是任何Spark功能的入口点。当我们运行任何Spark应用程序时，一个驱动程序会启动，它有主要的功能，你的SparkContext在这里被启动。然后驱动程序在工作节点的执行器...

2023-03-20admin阅读(159)评论(0)赞(0)

PySpark 环境搭建在本章中，我们将了解PySpark的环境设置。注意 - 这是考虑到你的电脑上已经安装了Java和Scala。现在让我们通过以下步骤下载并设置PySpark。第1步 - 进入Apache Spa...

2023-03-20admin阅读(160)评论(0)赞(0)

PySpark 简介在本章中，我们将了解什么是Apache Spark以及PySpark是如何开发的。 Spark – 概述 Apache Spark是一个快如闪电的实时处理框架。它在内存中进行计算，实时分析数据。它的出现是因...