Hadoop3：HDFS存储优化之小文件归档
创始人
2024-12-28 20:07:19
0次
一、情景说明
我们知道，NameNode存储一个文件元数据，默认是150byte大小的内存空间。
那么，如果出现很多的小文件，就会导致NameNode的内存占用。
但注意，存储小文件所需要的磁盘容量和数据块的大小无关。
例如，一个1MB的文件设置为128MB的块存储，实际使用的是1MB的磁盘空间，而不是128MB。
二、解决方案
HDFS存档文件或HAR文件来优化这个问题
具体说来，HDFS存档文件对内还是一个一个独立文件，对NameNode而言却是一个整体，减少了NameNode的内存。
它的底层，其实是一个MR程序。
你可以简单理解为，它就是一个压缩程序。
三、案例
将/input目录下的文件归档成input.har文件，并存于根目录。
归档文件
hadoop archive -archiveName input.har -p /input /output 
查看归档文件内容
hadoop fs -ls /output/input.har hadoop fs -ls har:///output/input.har 
解压归档文件中所有文件
hadoop fs -cp har:///output/input.har/* / 解压归档文件中一个文件
hadoop fs -cp har:///output/input.har/hello.txt / 
相关内容
热门资讯
科普常识“拱趴大菠萝机器人”开...
科普常识“拱趴大菠萝机器人”开挂(透视)辅助下载(靠谱教程存在有挂)1、下载安装好，进入游戏主界面，...
透视辅助！wejoker辅助软...
透视辅助！wejoker辅助软件视频，wpk辅助，正品开挂辅助插件（透视有挂教程）>>您好：软件加1...
透视辅助！德普之星透视辅助软件...
较多好评“微乐万能挂官网”开挂(透视)辅助教程 了解更多开挂安装加（136704302）微信号是一款...
玩家必看科普“红龙poker辅...
玩家必看科普“红龙poker辅助平台”开挂(透视)辅助工具(软件教程有挂头条)；无需打开直接搜索加（...
透视辅助！wpk辅助购买，so...
透视辅助！wpk辅助购买，sohoopoker辅助，科技开挂辅助神器（透视真实有挂）；无需打开直接搜...
大神推荐“德普之星透视辅助软件...
是一款可以让一直输的玩家，快速成为一个“必胜”的ai辅助神器，有需要的用户可以加我微信（136704...
透视辅助！htx矩阵wepok...
透视辅助！htx矩阵wepoker辅助，wepoker私人局俱乐部，科技开挂辅助脚本（透视有挂透视）...
揭秘一下“wepoker辅助器...
揭秘一下“wepoker辅助器激活码”开挂(透视)辅助神器(黑科技教程有挂方式)；亲，wepoker...
透视辅助！aapoker辅助工...
透视辅助！aapoker辅助工具安全吗，大菠萝手游辅助，关于开挂辅助软件（透视有挂分享）《详细加薇1...
玩家必备科普“wepoker透...
您好：这款wepoker透视脚本下载游戏是可以开挂的，确实是有挂的，很多玩家在这款wepoker透视...