吕朝阳
- 作品数：1 被引量：51H指数：1
- 供职机构：山东大学计算机科学与技术学院更多>>
- 发文基金：山东省科技发展计划项目山东大学自主创新基金山东省自然科学基金更多>>
- 相关领域：自动化与计算机技术更多>>
- 分布式流处理技术综述被引量：51
- 2015年
- 随着计算机和网络技术的迅猛发展以及数据获取手段的不断丰富,在越来越多的领域出现了对海量、高速数据进行实时处理的需求.由于此类需求往往超出传统数据处理技术的能力,分布式流处理模式应运而生.首先回顾分布式流处理技术产生的背景以及技术演进过程,然后将其与其他相关大数据处理技术进行对比,以界定分布式流数据处理的外延.进而对分布式流处理所需要考虑的数据模型、系统模型、存储管理、语义保障、负载控制、系统容错等主要问题进行深入分析,指出现有解决方案的优势和不足.随后,介绍S4,Storm,Spark Streaming等几种具有代表性的分布式流处理系统,并对它们进行系统地对比.最后,给出分布式流处理在社交媒体处理等领域的几种典型应用,并探讨分布式流处理领域进一步的研究方向.
- 崔星灿禹晓辉刘洋吕朝阳
- 关键词：大数据数据流分布式系统
