您的位置: 专家智库 > >

左大鹏

作品数:2 被引量:6H指数:1
供职机构:北京交通大学计算机与信息技术学院更多>>
相关领域:自动化与计算机技术更多>>

文献类型

  • 1篇期刊文章
  • 1篇学位论文

领域

  • 2篇自动化与计算...

主题

  • 2篇HADOOP
  • 1篇索引
  • 1篇索引策略
  • 1篇HADOOP...
  • 1篇HDFS
  • 1篇存储管理

机构

  • 2篇北京交通大学

作者

  • 2篇左大鹏
  • 1篇徐薇

传媒

  • 1篇软件

年份

  • 2篇2015
2 条 记 录,以下是 1-2
排序方式:
Hadoop小文件存储管理的研究与实现
当前,大数据时代中的数据信息呈爆炸式的增长,传统的技术架构已经不能满足处理海量数据的需求。Apache基金研发的Hadoop平台迅速被应用到各个领域中,成为了许多企业的首选。Hadoop作为一种海量数据分析处理平台,具有...
左大鹏
关键词:HADOOP平台存储管理
文献传递
基于Hadoop处理小文件的优化策略被引量:6
2015年
HDFS(Hadoop Distributed File System)作为开源系统广泛地适用于各类存储服务中,具有高容错,易扩展,廉价存储等特点。然而,HDFS基于单一的服务器Name Node来处理元数据信息管理,当处理海量小文件时会造成Name Node内存过分消耗以及存储和读取性能并不理想,使Name Node成为系统瓶颈。本文提出一种基于HAR(Hadoop Archive)的优化机制来提高Name Node存储元数据信息的内存利用效率和提高读取小文件的访问效率。另外,该策略也扩展了HAR文件追加的优化和为提高访问效率采用索引预取机制。实验结果表明该优化策略能够提高现有HAR处理小文件的能力和访问海量小文件的效率。
左大鹏徐薇
关键词:HDFS索引策略
共1页<1>
聚类工具0