Hadoop3：HDFS存储优化之小文件归档_开发测试

创始人

2024-12-28 20:07:19

0次

一、情景说明

我们知道，NameNode存储一个文件元数据，默认是150byte大小的内存空间。
那么，如果出现很多的小文件，就会导致NameNode的内存占用。

但注意，存储小文件所需要的磁盘容量和数据块的大小无关。
例如，一个1MB的文件设置为128MB的块存储，实际使用的是1MB的磁盘空间，而不是128MB。

HDFS存档文件或HAR文件来优化这个问题
具体说来，HDFS存档文件对内还是一个一个独立文件，对NameNode而言却是一个整体，减少了NameNode的内存。
在这里插入图片描述
它的底层，其实是一个MR程序。
你可以简单理解为，它就是一个压缩程序。

将/input目录下的文件归档成input.har文件，并存于根目录。
在这里插入图片描述
归档文件

hadoop archive -archiveName input.har -p /input /output

在这里插入图片描述
查看归档文件内容

hadoop fs -ls /output/input.har hadoop fs -ls har:///output/input.har

在这里插入图片描述

解压归档文件中所有文件

hadoop fs -cp har:///output/input.har/*    /

解压归档文件中一个文件

hadoop fs -cp har:///output/input.har/hello.txt /

在这里插入图片描述

第三方插件!即赢互动辅助透视挂... 第三方插件!即赢互动辅助透视挂，闽游麻将是真的有挂，竟然有挂教程1、许多玩家不知道闽游麻将辅助怎么退...

推荐攻略!AAPoKer辅助挂... 推荐攻略!AAPoKer辅助挂多功能透视工具，其实有挂(有挂神器)1、AAPoKer公共底牌简单，A...

随着!红中麻将辅助透视挂，打两... 随着!红中麻将辅助透视挂，打两圈兴化麻将真的是有挂，其实有挂解密进入游戏-大厅左侧-新手福利-激活码...

玩家必看攻略!aapoker辅... 玩家必看攻略!aapoker辅助挂多功能透视工具，竟然真的是有挂(确实有挂)1、首先打开aapoke...

目前!天龙八部辅助透视挂，趣玩... 目前!天龙八部辅助透视挂，趣玩贵州麻将是真的有挂，都是证实有挂1、玩家可以在天龙八部线上大神俱乐部对...

今日焦点!wpk辅助挂多功能透... 今日焦点!wpk辅助挂多功能透视工具，确实真的有挂(有挂分享)wpk辅助器是一种具有地方特色的麻将游...

据公告内容!多彩世界辅助透视挂... 据公告内容!多彩世界辅助透视挂，天天监利麻将是有挂，好像有挂规律1、每一步都需要思考，不同水平的挑战...

新手必备!AAPoKer辅助挂... 新手必备!AAPoKer辅助挂多功能透视工具，其实是有挂(有挂技巧)1、首先打开AAPoKer辅助器...

最终!8522TV辅助透视挂，... 最终!8522TV辅助透视挂，福气棋牌真的有挂，切实有挂方略亲，关键说明，福气透视脚本安卓赛季回归，...

分辨真假!wepoker辅助挂... 分辨真假!wepoker辅助挂多功能透视工具，一贯真的有挂(有挂秘籍)1、这是跨平台的wepoker...