Hadoop3：HDFS存储优化之小文件归档
创始人
2024-12-28 20:07:19
0次
一、情景说明
我们知道，NameNode存储一个文件元数据，默认是150byte大小的内存空间。
那么，如果出现很多的小文件，就会导致NameNode的内存占用。
但注意，存储小文件所需要的磁盘容量和数据块的大小无关。
例如，一个1MB的文件设置为128MB的块存储，实际使用的是1MB的磁盘空间，而不是128MB。
二、解决方案
HDFS存档文件或HAR文件来优化这个问题
具体说来，HDFS存档文件对内还是一个一个独立文件，对NameNode而言却是一个整体，减少了NameNode的内存。
它的底层，其实是一个MR程序。
你可以简单理解为，它就是一个压缩程序。
三、案例
将/input目录下的文件归档成input.har文件，并存于根目录。
归档文件
hadoop archive -archiveName input.har -p /input /output 
查看归档文件内容
hadoop fs -ls /output/input.har hadoop fs -ls har:///output/input.har 
解压归档文件中所有文件
hadoop fs -cp har:///output/input.har/* / 解压归档文件中一个文件
hadoop fs -cp har:///output/input.har/hello.txt / 
相关内容
热门资讯
一分钟内幕！科乐吉林麻将系统发...
一分钟内幕！科乐吉林麻将系统发牌规律，福建大玩家确实真的是有挂，技巧教程（有挂ai代打）；所有人都在...
一分钟揭秘!微扑克辅助软件(透...
一分钟揭秘!微扑克辅助软件(透视辅助)确实是有挂(2024已更新)(哔哩哔哩)；1、用户打开应用后不...
五分钟发现！广东雀神麻雀怎么赢...
五分钟发现！广东雀神麻雀怎么赢，朋朋棋牌都是是真的有挂，高科技教程（有挂方法）1、广东雀神麻雀怎么赢...
每日必看!人皇大厅吗(透明挂)...
每日必看!人皇大厅吗(透明挂)好像存在有挂(2026已更新)(哔哩哔哩)；人皇大厅吗辅助器中分为三种...
重大科普!新华棋牌有挂吗(透视...
重大科普!新华棋牌有挂吗(透视)一直是有挂(2021已更新)(哔哩哔哩)1、完成新华棋牌有挂吗的残局...
二分钟内幕！微信小程序途游辅助...
二分钟内幕！微信小程序途游辅助器，掌中乐游戏中心其实存在有挂，微扑克教程（有挂规律）二分钟内幕！微信...
科技揭秘!jj斗地主系统控牌吗...
科技揭秘!jj斗地主系统控牌吗(透视)本来真的是有挂(2025已更新)(哔哩哔哩)1、科技揭秘!jj...
1分钟普及！哈灵麻将攻略小，微...
1分钟普及！哈灵麻将攻略小，微信小程序十三张好像存在有挂，规律教程（有挂技巧）哈灵麻将攻略小是一种具...
9分钟教程！科乐麻将有挂吗，传...
9分钟教程！科乐麻将有挂吗，传送屋高防版辅助（总是存在有挂）1、完成传送屋高防版辅助透视辅助安装，帮...
每日必看教程!兴动游戏辅助器下...
每日必看教程!兴动游戏辅助器下载(辅助)真是真的有挂(2025已更新)(哔哩哔哩)1、打开软件启动之...