Hadoop3：HDFS存储优化之小文件归档_开发测试

创始人

2024-12-28 20:07:19

0次

一、情景说明

我们知道，NameNode存储一个文件元数据，默认是150byte大小的内存空间。
那么，如果出现很多的小文件，就会导致NameNode的内存占用。

但注意，存储小文件所需要的磁盘容量和数据块的大小无关。
例如，一个1MB的文件设置为128MB的块存储，实际使用的是1MB的磁盘空间，而不是128MB。

HDFS存档文件或HAR文件来优化这个问题
具体说来，HDFS存档文件对内还是一个一个独立文件，对NameNode而言却是一个整体，减少了NameNode的内存。
在这里插入图片描述
它的底层，其实是一个MR程序。
你可以简单理解为，它就是一个压缩程序。

将/input目录下的文件归档成input.har文件，并存于根目录。
在这里插入图片描述
归档文件

hadoop archive -archiveName input.har -p /input /output

在这里插入图片描述
查看归档文件内容

hadoop fs -ls /output/input.har hadoop fs -ls har:///output/input.har

在这里插入图片描述

解压归档文件中所有文件

hadoop fs -cp har:///output/input.har/*    /

解压归档文件中一个文件

hadoop fs -cp har:///output/input.har/hello.txt /

在这里插入图片描述

黑科技规律"德扑之星... 黑科技规律"德扑之星刷数据"aapoker透明挂使用教程(都是真的是有挂)-哔哩哔哩；1、在aapo...

黑科技了解（wepoke）辅助... 黑科技了解（wepoke）辅助软件靠谱吗（黑科技）德州辅助器（原来存在有挂）；建议优先通过透明挂内置...

黑科技了解!德扑数据软件(智能... 黑科技了解!德扑数据软件(智能ai)太坑了是真的有挂(AA德州教程黑科技详情)-哔哩哔哩1、下载好德...

黑科技教程"wepo... 黑科技教程"wepoke辅助会被官方检测到吗"微扑克发牌规律性总结(真是有挂)-哔哩哔哩1、任何we...

黑科技规律(aapoker辅助... 黑科技规律(aapoker辅助是什么)外挂透视辅助教程(透视)其实是有挂(黑科技方法)-哔哩哔哩；1...

黑科技数据（aApoker）辅... 黑科技数据（aApoker）辅助神器（透视）透视辅助器（果然有挂）；实战中需综合运用上述技巧，并根据...

黑科技脚本!wepoke有挂吗... 黑科技脚本!wepoke有挂吗(透视)太坑了有挂(揭秘教程黑科技规律)-哔哩哔哩；1、实时wepok...

黑科技系统"wepo... 黑科技系统"wepooke系统规律"wepoke挂真的假的(原来是有挂)-哔哩哔哩1、这是跨平台的w...

黑科技规律(wepoke有挂)... 黑科技规律(wepoke有挂)外挂黑科技辅助下载(透视)总是存在有挂(黑科技插件)-哔哩哔哩；1、进...

黑科技总结!wepoke软件透... 黑科技总结!wepoke软件透明挂测试(黑科技ai)太坑了有挂(靠谱教程黑科技黑科技)-哔哩哔哩；1...