Spark Streaming

Spark Streaming类似于Apache Storm,用于流式数据的处理。Spark Streaming巧妙地利用了Spark的分片和快速计算的特性,将实时传输进来的数据按照时间进行分段,把一段时间传输进来的数据合并在一起,当作一批数据,再去交给Spark去处理。下图这张图描述了Spark Streaming将数据分段、分批的过程。
Spark Streaming 简介|极客教程

Spark Streaming 简介

admin阅读(2289)赞(5)

Spark Streaming 简介,Spark是一个批处理大数据计算引擎,主要针对大批量历史数据进行计算。同时Spark是一个快速计算的大数据引擎,它将原始数据分片后装载到集群中计算,对于数据量不是很大、过程不是很复杂的计算,可以在秒级甚...

Spark Streaming

近期文章