您的位置: 专家智库 > >

赵威

作品数:1 被引量:4H指数:1
供职机构:国网黑龙江省电力有限公司信息通信公司更多>>
发文基金:国家自然科学基金更多>>
相关领域:自动化与计算机技术更多>>

文献类型

  • 1篇中文期刊文章

领域

  • 1篇自动化与计算...

主题

  • 1篇负载均衡
  • 1篇MAPRED...

机构

  • 1篇东华大学
  • 1篇国网黑龙江省...

作者

  • 1篇刘国华
  • 1篇翟红敏
  • 1篇刘源源
  • 1篇赵威

传媒

  • 1篇计算机工程与...

年份

  • 1篇2014
1 条 记 录,以下是 1-1
排序方式:
MapReduce中连接负载均衡优化研究被引量:4
2014年
数据分析和处理是大规模分布式数据处理应用中的重要任务。由于简单易用和具有灵活性,MapReduce编程模型逐渐成为大规模分布式数据处理系统(如Hadoop系统)的核心模型。由于所处理的数据可能不是均匀分布的,MapReduce编程模型在处理连接操作时,会出现数据倾斜问题。数据倾斜问题严重降低了MapReduce执行连接操作的效率。针对MapReduce中连接操作的数据倾斜问题,分析了造成MapReduce连接性能瓶颈的原因并建立负载均衡代价模型,提出了用范围分割方法控制连接过程中的数据倾斜问题实现负载均衡的策略。实验结果表明,所提方法明显提高了连接的效率。
翟红敏刘国华赵威刘源源翟红坤
关键词:MAPREDUCE负载均衡
共1页<1>
聚类工具0