Hadoop3：HDFS存储优化之小文件归档
创始人
2024-12-28 20:07:19
0次
一、情景说明
我们知道，NameNode存储一个文件元数据，默认是150byte大小的内存空间。
那么，如果出现很多的小文件，就会导致NameNode的内存占用。
但注意，存储小文件所需要的磁盘容量和数据块的大小无关。
例如，一个1MB的文件设置为128MB的块存储，实际使用的是1MB的磁盘空间，而不是128MB。
二、解决方案
HDFS存档文件或HAR文件来优化这个问题
具体说来，HDFS存档文件对内还是一个一个独立文件，对NameNode而言却是一个整体，减少了NameNode的内存。
它的底层，其实是一个MR程序。
你可以简单理解为，它就是一个压缩程序。
三、案例
将/input目录下的文件归档成input.har文件，并存于根目录。
归档文件
hadoop archive -archiveName input.har -p /input /output 
查看归档文件内容
hadoop fs -ls /output/input.har hadoop fs -ls har:///output/input.har 
解压归档文件中所有文件
hadoop fs -cp har:///output/input.har/* / 解压归档文件中一个文件
hadoop fs -cp har:///output/input.har/hello.txt / 
相关内容
热门资讯
黑科技黑科技!aapoker辅...
黑科技黑科技!aapoker辅助是什么(透视)真是有挂(2026已更新)(哔哩哔哩)aapoker辅...
黑科技中牌率(wepoke真的...
黑科技中牌率(wepoke真的有挂)wepoke透明挂软件(wEPOKE)原来是真的有挂(有挂详细)...
黑科技辅助!wpk微扑克辅助透...
黑科技辅助!wpk微扑克辅助透视(透视)高科技教程(2020已更新)(哔哩哔哩)1、该软件可以轻松地...
必备辅助推荐!wepoke有没...
必备辅助推荐!wepoke有没有挂(透视)外挂透明挂辅助软件(2022已更新)(哔哩哔哩)1、完成w...
黑科技存在(wepokeai代...
黑科技存在(wepokeai代打)WePoKe有挂吗(wePOKE)从前是真的有挂(有挂规律)-哔哩...
黑科技科技!德扑之星攻略(透视...
黑科技科技!德扑之星攻略(透视)一直有挂(2022已更新)(哔哩哔哩)运德扑之星攻略辅助工具，进入游...
黑科技辅助!德扑概率计算软件(...
黑科技辅助!德扑概率计算软件(透视)分享教程(2020已更新)(哔哩哔哩)1、该软件可以轻松地帮助玩...
实测交流!微扑克ai辅助器(透...
实测交流!微扑克ai辅助器(透视)外挂透明挂辅助工具(2021已更新)(哔哩哔哩)1、起透看视 微扑...
黑科技挂(wepoke智能ai...
黑科技挂(wepoke智能ai)wepoke辅助真的假的(wepoKE)好像真的有挂(有挂助手)-哔...
黑科技脚本!微扑克模拟器是什么...
黑科技脚本!微扑克模拟器是什么(透视)竟然是真的有挂(2026已更新)(哔哩哔哩)微扑克模拟器是什么...