Hadoop3：HDFS存储优化之小文件归档
创始人
2024-12-28 20:07:19
0次
一、情景说明
我们知道，NameNode存储一个文件元数据，默认是150byte大小的内存空间。
那么，如果出现很多的小文件，就会导致NameNode的内存占用。
但注意，存储小文件所需要的磁盘容量和数据块的大小无关。
例如，一个1MB的文件设置为128MB的块存储，实际使用的是1MB的磁盘空间，而不是128MB。
二、解决方案
HDFS存档文件或HAR文件来优化这个问题
具体说来，HDFS存档文件对内还是一个一个独立文件，对NameNode而言却是一个整体，减少了NameNode的内存。
它的底层，其实是一个MR程序。
你可以简单理解为，它就是一个压缩程序。
三、案例
将/input目录下的文件归档成input.har文件，并存于根目录。
归档文件
hadoop archive -archiveName input.har -p /input /output 
查看归档文件内容
hadoop fs -ls /output/input.har hadoop fs -ls har:///output/input.har 
解压归档文件中所有文件
hadoop fs -cp har:///output/input.har/* / 解压归档文件中一个文件
hadoop fs -cp har:///output/input.har/hello.txt / 
相关内容
热门资讯
我来教大家！七千游戏十三道辅助...
我来教大家！七千游戏十三道辅助，约局吧辅助，透明挂教程!（有挂助手）1、下载安装好七千游戏十三道辅助...
第8小时精通！乐享麻将连连看辅...
第8小时精通！乐享麻将连连看辅助（透视）本来有开挂辅助软件（确实有挂）；无需打开直接搜索加（薇:13...
透明科技！wepoker好友房...
透明科技！wepoker好友房开挂（透视）本来有开挂辅助软件（有挂教程）1、下载安装好wepoker...
十分钟攻略！财神13章脚本（透...
十分钟攻略！财神13章脚本（透视）详细开挂辅助插件（确实有挂）1、下载安装好财神13章脚本，进入游戏...
科技通报！宝宝临海辅助器，广东...
科技通报！宝宝临海辅助器，广东老友辅助，黑科技教程（有挂总结）；无需打开直接搜索加（薇:136704...
五分钟指导！禅游游戏辅助（透视...
五分钟指导！禅游游戏辅助（透视）最初有开挂辅助工具（有挂辅助）；无需打开直接搜索加（薇:136704...
第八分钟窍门！雀神麻将小程序辅...
第八分钟窍门！雀神麻将小程序辅助软件（透视）详细开挂辅助安装（有挂方略）1、下载安装好雀神麻将小程序...
玩家攻略！新九天辅助器，红黑大...
玩家攻略！新九天辅助器，红黑大战控制系统，专业教程（有挂辅助）1、下载安装好新九天辅助器，进入游戏主...
第九瞬间知晓！钱塘13挂件（透...
第九瞬间知晓！钱塘13挂件（透视）起初有开挂辅助安装（有挂头条）1、下载安装好钱塘13挂件，进入游戏...
透视能赢！wepoker破解游...
透视能赢！wepoker破解游戏盒子（透视）原先有开挂辅助安装（真的有挂）；无需打开直接搜索加（薇:...