Hadoop3：HDFS存储优化之小文件归档
创始人
2024-12-28 20:07:19
0次
一、情景说明
我们知道，NameNode存储一个文件元数据，默认是150byte大小的内存空间。
那么，如果出现很多的小文件，就会导致NameNode的内存占用。
但注意，存储小文件所需要的磁盘容量和数据块的大小无关。
例如，一个1MB的文件设置为128MB的块存储，实际使用的是1MB的磁盘空间，而不是128MB。
二、解决方案
HDFS存档文件或HAR文件来优化这个问题
具体说来，HDFS存档文件对内还是一个一个独立文件，对NameNode而言却是一个整体，减少了NameNode的内存。
它的底层，其实是一个MR程序。
你可以简单理解为，它就是一个压缩程序。
三、案例
将/input目录下的文件归档成input.har文件，并存于根目录。
归档文件
hadoop archive -archiveName input.har -p /input /output 
查看归档文件内容
hadoop fs -ls /output/input.har hadoop fs -ls har:///output/input.har 
解压归档文件中所有文件
hadoop fs -cp har:///output/input.har/* / 解压归档文件中一个文件
hadoop fs -cp har:///output/input.har/hello.txt / 
相关内容
热门资讯
玩家爆料开挂app!丹东约战麻...
玩家爆料开挂app!丹东约战麻将多功能开挂app，丹东约战麻将果然真的有开挂app1、下载好丹东约战...
终于清楚辅助软件!丰城棋牌多功...
终于清楚辅助软件!丰城棋牌多功能辅助软件，丰城棋牌本来是真的有辅助软件1、起透看视 丰城棋牌辅助软件...
重大消息透视器方法!科尔沁麻将...
重大消息透视器方法!科尔沁麻将多功能透视器方法，科尔沁麻将本来是有透视器方法科尔沁麻将脚本下载中分为...
分享个大家辅助方法!天津麻将多...
分享个大家辅助方法!天津麻将多功能辅助方法，天津麻将竟然是真的有辅助方法1、很好的工具软件，可以解锁...
带你了解外挂攻略!逍遥皖北棋牌...
带你了解外挂攻略!逍遥皖北棋牌多功能外挂攻略，逍遥皖北棋牌总是是有外挂攻略1、在逍遥皖北棋牌插件功能...
热门推荐透视挂攻略!悠乐汇多功...
热门推荐透视挂攻略!悠乐汇多功能透视挂攻略，悠乐汇切实真的有透视挂攻略；1、全新机制【悠乐汇ai辅助...
推荐一款辅助方法!科尔沁麻将多...
推荐一款辅助方法!科尔沁麻将多功能辅助方法，科尔沁麻将其实真的有辅助方法1、不需要AI权限，帮助你快...
重大来袭开挂攻略!一乐浙江多功...
重大来袭开挂攻略!一乐浙江多功能开挂攻略，一乐浙江一贯是真的有开挂攻略1、让任何用户在无需一乐浙江安...
详细说明作弊器技巧!启东麻将多...
详细说明作弊器技巧!启东麻将多功能作弊器技巧，启东麻将一贯存在有作弊器技巧1、下载好启东麻将透视辅助...
玩家必看科普辅助插件!闲来互娱...
玩家必看科普辅助插件!闲来互娱多功能辅助插件，闲来互娱一贯有辅助插件1、很好的工具软件，可以解锁游戏...