极客教程PySpark 序列化器
PySpark 序列化器 序列化被用于Apache Spark的性能调整。所有通过网络发送或写入磁盘或持久化在内存中的数据都应该被序列化。序列化在昂贵的操作中起着重要的作用。 PySpark支持用于性能调优的自定义序列化器。PySpark支...
大数据
大数据（big data），是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
PySpark MLlib
PySpark MLlib Apache Spark提供了一个名为 MLlib 的机器学习API 。 PySpark在Python中也有这种机器学习API。它支持不同种类的算法，下面提到了这些算法 mllib.classification ...
PySpark StorageLevel
PySpark StorageLevel StorageLevel决定了RDD应该如何被存储。在Apache Spark中，StorageLevel决定RDD是否应该存储在内存中，还是应该存储在磁盘上，或者两者都存储。它还决定是否对RDD进...
PySpark SparkFiles
PySpark SparkFiles 在Apache Spark中，你可以使用 sc.addFile 上传你的文件（sc是你默认的SparkContext），并使用 SparkFiles.get 在worker上获得路径 。 因此，Spar...
PySpark SparkConf
PySpark SparkConf 为了在本地/集群上运行一个Spark应用程序，你需要设置一些配置和参数，这就是SparkConf的帮助。它提供了运行Spark应用程序的配置。下面的代码块是PySpark的SparkConf类的细节。 c...
PySpark Broadcast和Accumulator
PySpark Broadcast和Accumulator 对于并行处理，Apache Spark使用共享变量。当驱动程序向集群上的执行器发送任务时，共享变量的副本会出现在集群的每个节点上，这样它就可以用来执行任务。 有两种类型的共享变量被...
PySpark RDD
PySpark RDD 现在我们已经在我们的系统上安装和配置了PySpark，我们可以在Apache Spark上用Python编程。然而，在这样做之前，让我们了解Spark中的一个基本概念 – RDD。 RDD是 Resili...
PySpark SparkContext
PySpark SparkContext SparkContext是任何Spark功能的入口点。当我们运行任何Spark应用程序时，一个驱动程序会启动，它有主要的功能，你的SparkContext在这里被启动。然后驱动程序在工作节点的执行器...
PySpark 环境搭建
PySpark 环境搭建 在本章中，我们将了解PySpark的环境设置。 注意 - 这是考虑到你的电脑上已经安装了Java和Scala。 现在让我们通过以下步骤下载并设置PySpark。 第1步 - 进入Apache Spa...
PySpark 简介
PySpark 简介 在本章中，我们将了解什么是Apache Spark以及PySpark是如何开发的。 Spark – 概述 Apache Spark是一个快如闪电的实时处理框架。它在内存中进行计算，实时分析数据。它的出现是因...
PySpark教程
PySpark教程 Apache Spark是用Scala编程语言编写的。为了支持Python与Spark，Apache Spark社区发布了一个工具，PySpark。使用PySpark，你也可以用Python编程语言来处理RDDs。正是因...
机器学习和人工智能的区别
机器学习和人工智能的区别 人工智能 在任何与自动化相关的事物中都发挥着重要作用。人工智能和机器学习是最先进和最流行的技术，用于在工程和科学的不同领域创建智能系统。 虽然人工智能和ML是相互关联的，但它们彼此之间有很大的不同。人工智能是一个更...
数据仓库和操作数据库的区别
数据仓库和操作数据库的区别 数据仓库是一个结构化的、经过过滤的、已经为特定目的处理过的数据储存库。它从多个来源收集数据，并使用ETL流程对数据进行转换，然后将其加载到数据仓库，用于商业目的。 另一方面，操作性数据库是一个数据经常变化的数据库...
数据科学家、数据工程师、数据分析师之间的区别
数据科学家、数据工程师、数据分析师之间的区别 数据科学家、数据工程师和数据分析师都是以某种方式处理数据的专业人士。然而，他们有不同的角色和责任。阅读本文，了解更多关于数据科学家、数据工程师和数据分析师的工作概况以及如何区分他们。 谁是数据科...
数据概括的基本方法（DWDM）
数据概括的基本方法（DWDM） 数据归纳，也被称为数据总结或数据压缩，是通过识别并以更简化的形式表示数据中的模式来降低大型数据集的复杂性的过程。这样做的目的通常是为了使数据更容易管理，更容易分析和解释。 数据泛化简介 数据归纳是数据分析过程...
自动化的数据库设计工具
自动化的数据库设计工具 简介 对于希望简化数据库设计过程的开发人员和数据专业人员来说，自动化的数据库设计工具可以成为一种有用的资源。这些工具可以帮助创建高效和有效的数据库，节省时间和减少错误的风险。在这篇文章中，我们将探讨使用自动化数据库设...
ER模型中属性与关系的关系
ER模型中属性与关系的关系 简介 在数据库设计中，实体关系（ER）模型是代表数据库结构的一个强大工具。ER模型的一个重要方面是它处理属性和实体之间关系的方式。 在这篇文章中，我们将探讨ER模型中的属性和关系的概念，以及如何用它们来表示数据库...
数据仓库的属性
数据仓库的属性 简介 数据仓库是一个专门用于快速查询和分析数据的数据库。它被用来支持一个组织的决策过程，提供一个集中的数据存储库，可以很容易地访问和分析。 数据仓库中的属性是数据集的特征或特性，描述数据。它们也被称为变量或列。在这篇文章中，...
数据分析中的属性及其类型
数据分析中的属性及其类型 简介 数据分析是检查原始数据的过程，目的是对该信息得出结论。它是现代商业的一个重要方面，被用来改善决策，确定趋势和优化流程。 数据分析的一个重要方面是属性的概念。属性是数据集的特点或特征，描述数据。它们也被称为变量...
数据科学家的Python软件工程
数据科学家的Python软件工程 数据科学 将数学和统计学、专业编程、高级分析、机器学习和人工智能（AI）与特定主题的专业知识相结合，以揭示隐藏在组织数据中的可操作的洞察力。 数据科学是所有行业中显示出最快增长率的领域之一。这是由于数据源和...
用Dask进行并行计算
用Dask进行并行计算 Dask是一个灵活的开源Python库，用于并行计算。在这篇文章中，我们将了解并行计算以及为什么我们应该选择Dask来实现这一目的。 我们将把它与其他各种库如spark、ray和modin进行比较。我们还讨论了Das...
用电子表格进行数据分析
用电子表格进行数据分析 清理、转换和分析原始数据是获得有用的、相关的信息过程中的第一步，这些信息可以帮助企业做出明智的结论。 通过提供相关信息和事实，通常以图表、图片、表格和图形的形式呈现，该策略有助于降低与决策相关的风险。 数据分析涉及到...
用Pandas分析数据活动
用Pandas分析数据活动 Pandas是数据科学领域中一个非常流行的工具。它在分析数据活动中被大量使用。 为寻找企业决策的相关信息而对数据进行清理、转换和建模的过程被称为数据分析。从数据中提取可用的信息并在此基础上做出决策是数据分析的目标...
MapReduce和Hive的区别
MapReduce和Hive的区别 MapReduce MapReduce是一种在Hadoop上工作的模型，可以有效地访问存储在HDFS(Hadoop分布式文件系统)中的大数据。它是Hadoop的核心组件，它将大数据分成小块，并对其进行并行...
MapReduce和Pig的区别
MapReduce和Pig的区别 MapReduce MapReduce是一种在Hadoop上工作的模型，可以有效地访问存储在HDFS(Hadoop分布式文件系统)中的大数据。它是Hadoop的核心组件，它将大数据分成小块，并对其进行并行处...
数据清洗和数据处理的区别
数据清洗和数据处理的区别 数据处理 数据处理被定义为收集、操作和处理所收集的数据以用于所需用途。它是一项将数据从给定的形式转换为更可用和更理想的形式的任务，即使其更有意义和更有信息。使用机器学习算法、数学建模和统计知识，这整个过程可以自动化...
MapR平台和Cloudera平台的区别
MapR平台和Cloudera平台的区别 Cloudera Cloudera成立于2008年，由一些来自大数据天才的最聪明的人创立，包括谷歌、雅虎、甲骨文和Facebook。它基于开源的Apache Hadoop，但增加了自己的专利软件。它...
大数据和数据分析的区别
大数据和数据分析的区别 大数据 大数据指的是大量的数据，而且数据的增长速度相对于时间来说是非常快的。它包括结构化、非结构化和半结构化数据，数据量大、结构复杂，传统的数据管理工具无法对其进行管理。需要专门的大数据管理工具来存储和处理数据。海量...
文本挖掘和自然语言处理的区别
文本挖掘和自然语言处理的区别 自然语言处理(NLP) 自然语言处理的重要性在于使计算机系统能够识别自然语言。虽然这不再是一个方便的挑战。计算机可以识别信息的结构化，如电子表格和数据库中的表格，但是人类的语言、文本和声音形成了非结构化的数据类...
大数据和云计算的区别
大数据和云计算的区别 大数据 大数据是指规模巨大且随时间迅速增长的数据。大数据包括结构化数据、非结构化数据以及半结构化数据。大数据不能用传统的数据管理工具来存储和处理，它需要专门的大数据管理工具。它指的是复杂而庞大的数据集，具有5个V的数量...