张春明
- 作品数：2 被引量：42H指数：1
- 供职机构：中国科学院软件研究所更多>>
- 发文基金：中国科学院知识创新工程重要方向项目国家科技支撑计划更多>>
- 相关领域：自动化与计算机技术更多>>
- 一种Hadoop小文件存储和读取的方法被引量：42
- 2012年
- HDFS(Hadoop Distributed File System)凭借其高容错、可伸缩和廉价存储的优点,在当前面向云计算的应用场景中得到了广泛应用。然而,HDFS设计的初衷是存储超大文件,对于海量小文件,由于NameNode内存开销等问题,其存储和读取性能并不理想。提出一种基于小文件合并的方法 HIFM(Hierarchy Index File Merging),综合考虑小文件之间的相关性和数据的目录结构,来辅助将小文件合并成大文件,并生成分层索引。采用集中存储和分布式存储相结合的方式管理索引文件,并实现索引文件预加载。此外,HIFM采用数据预取的机制,提高顺序访问小文件的效率。实验结果表明,HIFM方法能够有效提高小文件存储和读取效率,显著降低NameNode和DataNode的内存开销,适合应用在有一定目录结构的海量小文件存储的应用场合。
- 张春明芮建武何婷婷
- 关键词：HDFS数据预取
- 一种Hadoop小文件存储和读取的方法
- HDFS(Hadoop Distributed File System)凭借其高容错、可伸缩和廉价(low-cost)存储的优点,在当前面向云计算的应用场景中得到了广泛应用。然而,HDFS设计的初衷是存储超大文件,对于海...
- 张春明芮建武何婷婷
- 关键词：HDFS数据预取
