Hadoop3：HDFS存储优化之小文件归档_开发测试

创始人

2024-12-28 20:07:19

0次

一、情景说明

我们知道，NameNode存储一个文件元数据，默认是150byte大小的内存空间。
那么，如果出现很多的小文件，就会导致NameNode的内存占用。

但注意，存储小文件所需要的磁盘容量和数据块的大小无关。
例如，一个1MB的文件设置为128MB的块存储，实际使用的是1MB的磁盘空间，而不是128MB。

HDFS存档文件或HAR文件来优化这个问题
具体说来，HDFS存档文件对内还是一个一个独立文件，对NameNode而言却是一个整体，减少了NameNode的内存。
在这里插入图片描述
它的底层，其实是一个MR程序。
你可以简单理解为，它就是一个压缩程序。

将/input目录下的文件归档成input.har文件，并存于根目录。
在这里插入图片描述
归档文件

hadoop archive -archiveName input.har -p /input /output

在这里插入图片描述
查看归档文件内容

hadoop fs -ls /output/input.har hadoop fs -ls har:///output/input.har

在这里插入图片描述

解压归档文件中所有文件

hadoop fs -cp har:///output/input.har/*    /

解压归档文件中一个文件

hadoop fs -cp har:///output/input.har/hello.txt /

在这里插入图片描述

热点推荐!wepoker辅助器... 热点推荐!wepoker辅助器免费下载(辅助挂)固有是有挂(详细辅助AI教程)；亲真的是有正版授权，...

第十分钟辅助器！玩吧辅助器下载... 第十分钟辅助器！玩吧辅助器下载最新免费版（辅助挂）真是真的是有挂（详细辅助软件教程）；玩吧辅助器下载...

9分钟了解!快乐碰胡辅助(辅助... 9分钟了解!快乐碰胡辅助(辅助挂)果然有挂(详细辅助方法)准备好在快乐碰胡辅助ia的高塔上攀登，扮演...

玩家必用"网易游戏辅... 玩家必用"网易游戏辅助软件"网易游戏辅助软件(果然真的是有挂)1.网易游戏辅助软件 ai辅助创建新账...

黑科技辅助“UU Games辅... 黑科技辅助“UU Games辅助器”外挂透视辅助助手（真是是真的有挂）；1、进入到UU Games辅...

玩家必备科普!四川游戏家园辅助... 玩家必备科普!四川游戏家园辅助软件下载(辅助挂)素来存在有挂(详细辅助细节揭秘)1、许多玩家不知道四...

九分钟了解!乐达大连穷胡小鸡满... 九分钟了解!乐达大连穷胡小鸡满天飞(辅助挂)都是存在有挂(详细辅助app)；小薇（透视辅助）致您一封...

来一盘"道游辅助脚本... 来一盘"道游辅助脚本"道游辅助脚本(确实真的是有挂)小薇（透视辅助）致您一封信；亲爱道游辅助脚本玩家...

7分钟了解！杭州都莱辅助软件（... 7分钟了解！杭州都莱辅助软件（辅助挂）其实真的有挂（详细辅助技巧教程）1、实时杭州都莱辅助软件开挂更...

黑科技辅助挂“玉海楼茶苑辅助软... 黑科技辅助挂“玉海楼茶苑辅助软件下载”外挂透视辅助app（都是真的是有挂）一、玉海楼茶苑辅助软件下载...