当前位置：极客教程 > PySpark > PySpark 精品教程 > PySpark 机器学习MLlib API

PySpark 机器学习MLlib API

PySpark 机器学习MLlib API

Apache Spark提供了一个称为 MLlib 的机器学习API。PySpark也有这个机器学习API的Python版本。它支持不同类型的算法，如下所述：

  • mllib.classification - spark.mllib 包支持二分类、多分类和回归分析的各种方法。分类中最常用的算法有 随机森林、朴素贝叶斯、决策树 等。

  • mllib.clustering - 聚类是一个无监督学习问题，通过某种相似性概念将实体的子集分组在一起。

  • mllib.fpm - 频繁模式匹配是挖掘频繁项、项集、子序列或其他子结构的技术，通常是分析大规模数据集的第一步。这是数据挖掘领域研究多年的一个热门课题。

  • mllib.linalg - 用于线性代数的MLlib实用工具。

  • mllib.recommendation - 协同过滤通常用于推荐系统。这些技术旨在填充用户项目关联矩阵中的缺失条目。

  • spark.mllib - 目前支持基于模型的协同过滤，其中用户和产品由一小组潜在因子描述，这些因子可以用于预测缺失条目。spark.mllib使用交替最小二乘(ALS)算法来学习这些潜在因子。

  • mllib.regression - 线性回归属于回归算法家族。回归的目标是找到变量之间的关系和依赖性。与逻辑回归的情况一样，用于工作的线性回归模型和模型摘要的接口也是类似的。

mllib包中还有其他算法、类和函数。目前，让我们来了解一个使用 pyspark.mllib 的演示。

以下示例是使用ALS算法进行协同过滤，构建推荐模型并在训练数据上进行评估。

使用的数据集 - test.data

1,1,5.0
1,2,1.0
1,3,5.0
1,4,1.0
2,1,5.0
2,2,1.0
2,3,5.0
2,4,1.0
3,1,1.0
3,2,5.0
3,3,1.0
3,4,5.0
4,1,1.0
4,2,5.0
4,3,1.0
4,4,5.0
Python
--------------------------------------recommend.py----------------------------------------
from __future__ import print_function
from pyspark import SparkContext
from pyspark.mllib.recommendation import ALS, MatrixFactorizationModel, Rating
if __name__ == "__main__":
   sc = SparkContext(appName="Pspark mllib Example")
   data = sc.textFile("test.data")
   ratings = data.map(lambda l: l.split(','))\
      .map(lambda l: Rating(int(l[0]), int(l[1]), float(l[2])))

   # Build the recommendation model using Alternating Least Squares
   rank = 10
   numIterations = 10
   model = ALS.train(ratings, rank, numIterations)

   # Evaluate the model on training data
   testdata = ratings.map(lambda p: (p[0], p[1]))
   predictions = model.predictAll(testdata).map(lambda r: ((r[0], r[1]), r[2]))
   ratesAndPreds = ratings.map(lambda r: ((r[0], r[1]), r[2])).join(predictions)
   MSE = ratesAndPreds.map(lambda r: (r[1][0] - r[1][1])**2).mean()
   print("Mean Squared Error = " + str(MSE))

   # Save and load model
   model.save(sc, "target/tmp/myCollaborativeFilter")
   sameModel = MatrixFactorizationModel.load(sc, "target/tmp/myCollaborativeFilter")
--------------------------------------recommend.py----------------------------------------
Python

命令 − 命令如下 −

$SPARK_HOME/bin/spark-submit recommend.py
Python

输出 - 上述命令的输出结果将是 –

Mean Squared Error = 1.20536041839e-05
Python

Python教程

Python 教程

Python 教程
Tkinter 教程

Tkinter 教程
Pandas 教程

Pandas 教程
NumPy 教程

NumPy 教程
Flask 教程

Flask 教程
Django 教程

Django 教程
PySpark 教程

PySpark 教程
wxPython 教程

wxPython 教程
SymPy 教程

SymPy 教程
Seaborn 教程

Seaborn 教程
SciPy 教程

SciPy 教程
RxPY 教程

RxPY 教程
Pycharm 教程

Pycharm 教程
Pygame 教程

Pygame 教程
PyGTK 教程

PyGTK 教程
PyQt 教程

PyQt 教程
PyQt5 教程

PyQt5 教程
PyTorch 教程

PyTorch 教程
Matplotlib 教程

Matplotlib 教程
Web2py 教程

Web2py 教程
BeautifulSoup 教程

BeautifulSoup 教程

Java教程

Java 教程

Java 教程

Web教程

HTML 教程

HTML 教程
CSS 教程

CSS 教程
CSS3 教程

CSS3 教程
jQuery 教程

jQuery 教程
Ajax 教程

Ajax 教程
AngularJS 教程

AngularJS 教程
TypeScript 教程

TypeScript 教程
WordPress 教程

WordPress 教程
Laravel 教程

Laravel 教程
Next.js 教程

Next.js 教程
PhantomJS 教程

PhantomJS 教程
Three.js 教程

Three.js 教程
Underscore.JS 教程

Underscore.JS 教程
WebGL 教程

WebGL 教程
WebRTC 教程

WebRTC 教程
VueJS 教程

VueJS 教程

数据库教程

SQL 教程

SQL 教程
MySQL 教程

MySQL 教程
MongoDB 教程

MongoDB 教程
PostgreSQL 教程

PostgreSQL 教程
SQLite 教程

SQLite 教程
Redis 教程

Redis 教程
MariaDB 教程

MariaDB 教程

图形图像教程

Vulkan 教程

Vulkan 教程
OpenCV 教程

OpenCV 教程

大数据教程

R语言 教程

R语言 教程

开发工具教程

Git 教程

Git 教程
VSCode 教程

VSCode 教程
Docker 教程

Docker 教程
Gerrit 教程

Gerrit 教程
Excel 教程

Excel 教程

计算机教程

Go语言 教程

Go语言 教程
C++ 教程

C++ 教程

PySpark 精品教程

登录

找回密码？

注册