Hadoop3：HDFS存储优化之小文件归档_开发测试

创始人

2024-12-28 20:07:19

0次

一、情景说明

我们知道，NameNode存储一个文件元数据，默认是150byte大小的内存空间。
那么，如果出现很多的小文件，就会导致NameNode的内存占用。

但注意，存储小文件所需要的磁盘容量和数据块的大小无关。
例如，一个1MB的文件设置为128MB的块存储，实际使用的是1MB的磁盘空间，而不是128MB。

HDFS存档文件或HAR文件来优化这个问题
具体说来，HDFS存档文件对内还是一个一个独立文件，对NameNode而言却是一个整体，减少了NameNode的内存。
在这里插入图片描述
它的底层，其实是一个MR程序。
你可以简单理解为，它就是一个压缩程序。

将/input目录下的文件归档成input.har文件，并存于根目录。
在这里插入图片描述
归档文件

hadoop archive -archiveName input.har -p /input /output

在这里插入图片描述
查看归档文件内容

hadoop fs -ls /output/input.har hadoop fs -ls har:///output/input.har

在这里插入图片描述

解压归档文件中所有文件

hadoop fs -cp har:///output/input.har/*    /

解压归档文件中一个文件

hadoop fs -cp har:///output/input.har/hello.txt /

在这里插入图片描述

黑科技挂!德州之星辅助器可以用... 黑科技挂!德州之星辅助器可以用(透视)真是真的有挂(竟然有挂)-哔哩哔哩是一款可以让一直输的玩家，快...

黑科技辅助(德州app)外挂透... 黑科技辅助(德州app)外挂透明挂辅助挂(透视)必胜教程(2026已更新)(哔哩哔哩)；超受欢迎的德...

黑科技辅助！wepoke辅助插... 黑科技辅助！wepoke辅助插件，wpk透视辅助靠谱，新2025教程（真是有挂）-哔哩哔哩；黑科技辅...

黑科技辅助挂！wpk俱乐部外挂... 黑科技辅助挂！wpk俱乐部外挂，太坑了真是有挂（详细透视ai智能辅助科技）-哔哩哔哩是一款可以让一直...

黑科技辅助(欢乐棋牌)外挂透明... 黑科技辅助(欢乐棋牌)外挂透明挂辅助挂(透视)解说技巧(2025已更新)(哔哩哔哩)是一款可以让一直...

黑科技免费!德扑之星ai代打(... 黑科技免费!德扑之星ai代打(透视)固有存在有挂(存在有挂)-哔哩哔哩；小薇（透视辅助）致您一封信；...

黑科技辅助！wepoke黑科技... 黑科技辅助！wepoke黑科技设备，德扑之星软件真的有辅，微扑克教程（有挂助手）-哔哩哔哩；黑科技辅...

黑科技辅助挂！aapoker到... 黑科技辅助挂！aapoker到底有挂，太坑了固有是有挂（详细透视ai智能辅助app）-哔哩哔哩是一款...

黑科技辅助(德扑ai软件)外挂... 黑科技辅助(德扑ai软件)外挂透明挂辅助工具(透视)2025新版技巧(2025已更新)(哔哩哔哩)；...

黑科技工具!Aapokerap... 黑科技工具!Aapokerapp(透视)先前存在有挂(有挂总结)-哔哩哔哩；Aapokerapp最新...