PySpark 机器学习MLlib API
Apache Spark提供了一个称为 MLlib 的机器学习API。PySpark也有这个机器学习API的Python版本。它支持不同类型的算法,如下所述:
- mllib.classification - spark.mllib 包支持二分类、多分类和回归分析的各种方法。分类中最常用的算法有 随机森林、朴素贝叶斯、决策树 等。
-
mllib.clustering - 聚类是一个无监督学习问题,通过某种相似性概念将实体的子集分组在一起。
-
mllib.fpm - 频繁模式匹配是挖掘频繁项、项集、子序列或其他子结构的技术,通常是分析大规模数据集的第一步。这是数据挖掘领域研究多年的一个热门课题。
-
mllib.linalg - 用于线性代数的MLlib实用工具。
-
mllib.recommendation - 协同过滤通常用于推荐系统。这些技术旨在填充用户项目关联矩阵中的缺失条目。
-
spark.mllib - 目前支持基于模型的协同过滤,其中用户和产品由一小组潜在因子描述,这些因子可以用于预测缺失条目。spark.mllib使用交替最小二乘(ALS)算法来学习这些潜在因子。
-
mllib.regression - 线性回归属于回归算法家族。回归的目标是找到变量之间的关系和依赖性。与逻辑回归的情况一样,用于工作的线性回归模型和模型摘要的接口也是类似的。
mllib包中还有其他算法、类和函数。目前,让我们来了解一个使用 pyspark.mllib 的演示。
以下示例是使用ALS算法进行协同过滤,构建推荐模型并在训练数据上进行评估。
使用的数据集 - test.data
1,1,5.0
1,2,1.0
1,3,5.0
1,4,1.0
2,1,5.0
2,2,1.0
2,3,5.0
2,4,1.0
3,1,1.0
3,2,5.0
3,3,1.0
3,4,5.0
4,1,1.0
4,2,5.0
4,3,1.0
4,4,5.0
--------------------------------------recommend.py----------------------------------------
from __future__ import print_function
from pyspark import SparkContext
from pyspark.mllib.recommendation import ALS, MatrixFactorizationModel, Rating
if __name__ == "__main__":
sc = SparkContext(appName="Pspark mllib Example")
data = sc.textFile("test.data")
ratings = data.map(lambda l: l.split(','))\
.map(lambda l: Rating(int(l[0]), int(l[1]), float(l[2])))
# Build the recommendation model using Alternating Least Squares
rank = 10
numIterations = 10
model = ALS.train(ratings, rank, numIterations)
# Evaluate the model on training data
testdata = ratings.map(lambda p: (p[0], p[1]))
predictions = model.predictAll(testdata).map(lambda r: ((r[0], r[1]), r[2]))
ratesAndPreds = ratings.map(lambda r: ((r[0], r[1]), r[2])).join(predictions)
MSE = ratesAndPreds.map(lambda r: (r[1][0] - r[1][1])**2).mean()
print("Mean Squared Error = " + str(MSE))
# Save and load model
model.save(sc, "target/tmp/myCollaborativeFilter")
sameModel = MatrixFactorizationModel.load(sc, "target/tmp/myCollaborativeFilter")
--------------------------------------recommend.py----------------------------------------
命令 − 命令如下 −
$SPARK_HOME/bin/spark-submit recommend.py
输出 - 上述命令的输出结果将是 –
Mean Squared Error = 1.20536041839e-05