Hadoop3：HDFS存储优化之小文件归档_开发测试

创始人

2024-12-28 20:07:19

0次

一、情景说明

我们知道，NameNode存储一个文件元数据，默认是150byte大小的内存空间。
那么，如果出现很多的小文件，就会导致NameNode的内存占用。

但注意，存储小文件所需要的磁盘容量和数据块的大小无关。
例如，一个1MB的文件设置为128MB的块存储，实际使用的是1MB的磁盘空间，而不是128MB。

HDFS存档文件或HAR文件来优化这个问题
具体说来，HDFS存档文件对内还是一个一个独立文件，对NameNode而言却是一个整体，减少了NameNode的内存。
在这里插入图片描述
它的底层，其实是一个MR程序。
你可以简单理解为，它就是一个压缩程序。

将/input目录下的文件归档成input.har文件，并存于根目录。
在这里插入图片描述
归档文件

hadoop archive -archiveName input.har -p /input /output

在这里插入图片描述
查看归档文件内容

hadoop fs -ls /output/input.har hadoop fs -ls har:///output/input.har

在这里插入图片描述

解压归档文件中所有文件

hadoop fs -cp har:///output/input.har/*    /

解压归档文件中一个文件

hadoop fs -cp har:///output/input.har/hello.txt /

在这里插入图片描述

现有说明如下!hhpoker免... 现有说明如下!hhpoker免费透视脚本(透视)果然真的有辅助插件(有挂存在)-哔哩哔哩1、不需要A...

外挂步骤！德普之星透视辅助插件... 外挂步骤！德普之星透视辅助插件，约局吧怎么看有没有挂-真是存在有辅助app（哔哩哔哩）一、约局吧怎么...

一分钟教会你！aapoker透... 一分钟教会你！aapoker透视脚本下载，皮皮跑子辅助，总是存在有辅助插件（有挂详细）1、实时皮皮跑...

迎来新发展!如何下载wepok... 迎来新发展!如何下载wepoker安装包(透视)真是真的有辅助软件(有挂详细)-哔哩哔哩1、超多福利...

外挂模块！德扑之心免费透视，智... 外挂模块！德扑之心免费透视，智星菠萝可以辅助吗-真是一直都是有辅助攻略（哔哩哔哩）1、许多玩家不知道...

透视苹果版!wpk透视工作室(... 透视苹果版!wpk透视工作室(透视)本来有辅助app(有挂解密)-哔哩哔哩1、下载好wpk透视工作室...

一起来探讨！wepoker破解... 一起来探讨！wepoker破解工具，人海大厅反杀，竟然是有辅助开挂（有挂解密）1、任何人海大厅反杀透...

外挂妙计！德普之星透视辅助软件... 您好，哈糖大菠萝可以开挂吗这款游戏可以开挂的，确实是有挂的，需要了解加去威信【485275054】很...

盘点几款！wepoker破解器... 盘点几款！wepoker破解器，挂机操作微乐，好像真的有辅助神器（详细教程）1、下载好挂机操作微乐脚...

透视实锤!wepokerh5破... 透视实锤!wepokerh5破解(透视)原来是真的辅助安装(有挂详细)-哔哩哔哩1、每一步都需要思考...