崔星灿
- 作品数：2 被引量：50H指数：1
- 供职机构：山东大学计算机科学与技术学院更多>>
- 发文基金：山东省科技发展计划项目山东大学自主创新基金山东省自然科学基金更多>>
- 相关领域：自动化与计算机技术交通运输工程更多>>
- 分布式流处理技术综述被引量：50
- 2015年
- 随着计算机和网络技术的迅猛发展以及数据获取手段的不断丰富,在越来越多的领域出现了对海量、高速数据进行实时处理的需求.由于此类需求往往超出传统数据处理技术的能力,分布式流处理模式应运而生.首先回顾分布式流处理技术产生的背景以及技术演进过程,然后将其与其他相关大数据处理技术进行对比,以界定分布式流数据处理的外延.进而对分布式流处理所需要考虑的数据模型、系统模型、存储管理、语义保障、负载控制、系统容错等主要问题进行深入分析,指出现有解决方案的优势和不足.随后,介绍S4,Storm,Spark Streaming等几种具有代表性的分布式流处理系统,并对它们进行系统地对比.最后,给出分布式流处理在社交媒体处理等领域的几种典型应用,并探讨分布式流处理领域进一步的研究方向.
- 崔星灿禹晓辉刘洋吕朝阳
- 关键词：大数据数据流分布式系统
- 观澜交通数据处理平台
- 2014年
- 近些年,城市中在主要路段和路口设置的交通卡口点及高清摄像头的数目呈增长趋势.对于大中型城市来说,这些摄像头将会产生海量包含通行记录和图像在内的数据.现有的基于传统关系数据库的解决方案已经无法有效地管理如此大规模的数据,也无法为数据的离线分析和实时处理提供具有高效及可伸缩性的保障.为了解决这一系列问题,我们开发了观澜交通数据处理平台(观澜平台).该平台可以为交通数据提供分布式、具有良好可伸缩性的处理支持.它集成了Apache Hadoop和S4开源框架,可以同时运行批处理任务和实时处理任务.观澜平台已经在国内某城市的生产环境中成功运行近两年,将会给出平台的架构说明以及在设计和开发过程中的一些收获.
- 董振禹晓辉崔星灿宋仁勇林立伟
- 关键词：交通数据数据处理系统大数据
