Hadoop3：HDFS存储优化之小文件归档
创始人
2024-12-28 20:07:19
0次
一、情景说明
我们知道，NameNode存储一个文件元数据，默认是150byte大小的内存空间。
那么，如果出现很多的小文件，就会导致NameNode的内存占用。
但注意，存储小文件所需要的磁盘容量和数据块的大小无关。
例如，一个1MB的文件设置为128MB的块存储，实际使用的是1MB的磁盘空间，而不是128MB。
二、解决方案
HDFS存档文件或HAR文件来优化这个问题
具体说来，HDFS存档文件对内还是一个一个独立文件，对NameNode而言却是一个整体，减少了NameNode的内存。
它的底层，其实是一个MR程序。
你可以简单理解为，它就是一个压缩程序。
三、案例
将/input目录下的文件归档成input.har文件，并存于根目录。
归档文件
hadoop archive -archiveName input.har -p /input /output 
查看归档文件内容
hadoop fs -ls /output/input.har hadoop fs -ls har:///output/input.har 
解压归档文件中所有文件
hadoop fs -cp har:///output/input.har/* / 解压归档文件中一个文件
hadoop fs -cp har:///output/input.har/hello.txt / 
相关内容
热门资讯
绝活儿辅助!广西老友玩老是输怎...
绝活儿辅助!广西老友玩老是输怎么办(辅助挂)都是真的有辅助app(讲解有挂)在进入广西老友玩老是输怎...
法门辅助!福建13水插件(辅助...
法门辅助!福建13水插件(辅助挂)一贯是有辅助技巧(有挂技术)1、许多玩家不知道福建13水插件辅助怎...
办法辅助!潮友会app下载官方...
办法辅助!潮友会app下载官方辅助器(辅助挂)真是真的是有辅助app(有挂教程)该软件可以轻松地帮助...
妙招辅助!邯郸胡乐挂辅助(辅助...
妙招辅助!邯郸胡乐挂辅助(辅助挂)好像存在有辅助插件(有挂方略)1、上手简单，内置详细流程视频教学，...
教程书辅助!乐酷辅助(辅助挂)...
教程书辅助!乐酷辅助(辅助挂)其实存在有辅助脚本(有挂细节)乐酷辅助能透视中分为三种模型：乐酷辅助模...
学习辅助!决战卡五星辅助(辅助...
学习辅助!决战卡五星辅助(辅助挂)本来真的是有辅助软件(有人有挂)学习辅助!决战卡五星辅助(辅助挂)...
绝活辅助!边锋嘉兴麻将辅助器(...
绝活辅助!边锋嘉兴麻将辅助器(辅助挂)真是真的有辅助神器(新版有挂)1、边锋嘉兴麻将辅助器公共底牌简...
举措辅助!枫叶辅助器(辅助挂)...
举措辅助!枫叶辅助器(辅助挂)本来存在有辅助技巧(竟然有挂)1、下载好枫叶辅助器正确养号方法之后点击...
讲义辅助!点我达辅助(辅助挂)...
讲义辅助!点我达辅助(辅助挂)一直存在有辅助技巧(有人有挂)1、点我达辅助辅助器安装包、点我达辅助辅...
模块辅助!威信茶馆有挂的吗(辅...
模块辅助!威信茶馆有挂的吗(辅助挂)一直真的是有辅助脚本(揭秘有挂)1、玩家可以在威信茶馆有挂的吗线...