Hadoop3：HDFS存储优化之小文件归档_开发测试

创始人

2024-12-28 20:07:19

0次

一、情景说明

我们知道，NameNode存储一个文件元数据，默认是150byte大小的内存空间。
那么，如果出现很多的小文件，就会导致NameNode的内存占用。

但注意，存储小文件所需要的磁盘容量和数据块的大小无关。
例如，一个1MB的文件设置为128MB的块存储，实际使用的是1MB的磁盘空间，而不是128MB。

HDFS存档文件或HAR文件来优化这个问题
具体说来，HDFS存档文件对内还是一个一个独立文件，对NameNode而言却是一个整体，减少了NameNode的内存。
在这里插入图片描述
它的底层，其实是一个MR程序。
你可以简单理解为，它就是一个压缩程序。

将/input目录下的文件归档成input.har文件，并存于根目录。
在这里插入图片描述
归档文件

hadoop archive -archiveName input.har -p /input /output

在这里插入图片描述
查看归档文件内容

hadoop fs -ls /output/input.har hadoop fs -ls har:///output/input.har

在这里插入图片描述

解压归档文件中所有文件

hadoop fs -cp har:///output/input.har/*    /

解压归档文件中一个文件

hadoop fs -cp har:///output/input.har/hello.txt /

在这里插入图片描述

十分钟工具！友友联盟辅助软件下... 十分钟工具！友友联盟辅助软件下载，途游辅助软件，切实有挂（有挂助手）-哔哩哔哩友友联盟辅助软件下载辅...

透视安装！哈糖大菠萝挂，德州真... 透视安装！哈糖大菠萝挂，德州真人透视脚本，教材教程（真的有挂）-哔哩哔哩1、下载好德州真人透视脚本辅...

两分钟关于！赣牌圈有挂吗（辅助... 两分钟关于！赣牌圈有挂吗（辅助挂）真是真的有挂，必胜教程（真实有挂）-哔哩哔哩1、赣牌圈有挂吗系统规...

十分钟方法！多乐手游辅助，小闲... 十分钟方法！多乐手游辅助，小闲川南辅助，原来存在有挂（有挂头条）-哔哩哔哩多乐手游辅助辅助器中分为三...

透视代打！菠萝德州透视脚本，w... 透视代打！菠萝德州透视脚本，wepoker国外版透视，讲义教程（有挂秘诀）-哔哩哔哩1、菠萝德州透视...

第二分钟总结！微乐卡五星有挂吗... 第二分钟总结！微乐卡五星有挂吗（辅助挂）原来有挂，微扑克教程（有挂工具）-哔哩哔哩1、在微乐卡五星有...

第1分钟神器！五十k辅助，九九... 第1分钟神器！五十k辅助，九九山城辅助免费，一贯真的是有挂（有挂教学）-哔哩哔哩所有人都在同一条线上...

透视规律！hhpoker德州挂... 透视规律！hhpoker德州挂真的有吗，werplan怎么透视，大纲教程（有挂攻略）-哔哩哔哩亲，关...

十分钟教你！温州茶苑辅助软件（... 十分钟教你！温州茶苑辅助软件（辅助挂）确实是真的挂，wpk教程（有挂实锤）-哔哩哔哩1、首先打开温州...

8分钟工具！西兵互娱辅助，心悦... 8分钟工具！西兵互娱辅助，心悦提坑神器软件下载，竟然真的有挂（有挂存在）-哔哩哔哩心悦提坑神器软件下...