Hadoop3：HDFS存储优化之小文件归档_开发测试

创始人

2024-12-28 20:07:19

0次

一、情景说明

我们知道，NameNode存储一个文件元数据，默认是150byte大小的内存空间。
那么，如果出现很多的小文件，就会导致NameNode的内存占用。

但注意，存储小文件所需要的磁盘容量和数据块的大小无关。
例如，一个1MB的文件设置为128MB的块存储，实际使用的是1MB的磁盘空间，而不是128MB。

HDFS存档文件或HAR文件来优化这个问题
具体说来，HDFS存档文件对内还是一个一个独立文件，对NameNode而言却是一个整体，减少了NameNode的内存。
在这里插入图片描述
它的底层，其实是一个MR程序。
你可以简单理解为，它就是一个压缩程序。

将/input目录下的文件归档成input.har文件，并存于根目录。
在这里插入图片描述
归档文件

hadoop archive -archiveName input.har -p /input /output

在这里插入图片描述
查看归档文件内容

hadoop fs -ls /output/input.har hadoop fs -ls har:///output/input.har

在这里插入图片描述

解压归档文件中所有文件

hadoop fs -cp har:///output/input.har/*    /

解压归档文件中一个文件

hadoop fs -cp har:///output/input.har/hello.txt /

在这里插入图片描述

阶段f辅助！wepoker透视... 阶段f辅助！wepoker透视方法，hhpoker德州有挂吗，解密教程（有挂工具）hhpoker德州...

诀窍f辅助！hhpoker德州... 诀窍f辅助！hhpoker德州作弊，wejoker手机版透视脚本，关于教程（讲解有挂）1、首先打开w...

教材f辅助！werplan怎么... 教材f辅助！werplan怎么透视，悟空黑桃a有挂嘛，解密教程（讲解有挂）1、悟空黑桃a有挂嘛公共底...

诀窍f辅助！如何下载wepok... 诀窍f辅助！如何下载wepoker安装包，hhpoker德州真的假的，分享教程（有挂透视）如何下载w...

总结f辅助！wepoker辅助... 总结f辅助！wepoker辅助器怎么弄，pokernow辅助工具，推荐教程（确实有挂）进入游戏-大厅...

要领f辅助！约局吧游戏挂，xp... 要领f辅助！约局吧游戏挂，xpoker怎么作弊，辅助教程（真实有挂）1、进入到约局吧游戏挂是否有挂之...

总结f辅助！德州私人局脚本，a... 总结f辅助！德州私人局脚本，aapoker破解侠是真的吗，关于教程（有挂解密）1、上手简单，内置详细...

绝活f辅助！wepoker轻量... 绝活f辅助！wepoker轻量版辅助，hhpoker透视工具，解迷教程（有挂猫腻）一、wepoker...

大纲f辅助！拱趴大菠萝挂哪里，... 大纲f辅助！拱趴大菠萝挂哪里，wepoker线上大神，普及教程（有挂存在）1、在拱趴大菠萝挂哪里插件...

技法f辅助！哈糖大菠萝能开挂吗... 技法f辅助！哈糖大菠萝能开挂吗，hhpoker德州机器人，曝光教程（有挂分析）1、上手简单，内置详细...