Hadoop3：HDFS存储优化之小文件归档
创始人
2024-12-28 20:07:19
0次
一、情景说明
我们知道，NameNode存储一个文件元数据，默认是150byte大小的内存空间。
那么，如果出现很多的小文件，就会导致NameNode的内存占用。
但注意，存储小文件所需要的磁盘容量和数据块的大小无关。
例如，一个1MB的文件设置为128MB的块存储，实际使用的是1MB的磁盘空间，而不是128MB。
二、解决方案
HDFS存档文件或HAR文件来优化这个问题
具体说来，HDFS存档文件对内还是一个一个独立文件，对NameNode而言却是一个整体，减少了NameNode的内存。
它的底层，其实是一个MR程序。
你可以简单理解为，它就是一个压缩程序。
三、案例
将/input目录下的文件归档成input.har文件，并存于根目录。
归档文件
hadoop archive -archiveName input.har -p /input /output 
查看归档文件内容
hadoop fs -ls /output/input.har hadoop fs -ls har:///output/input.har 
解压归档文件中所有文件
hadoop fs -cp har:///output/input.har/* / 解压归档文件中一个文件
hadoop fs -cp har:///output/input.har/hello.txt / 
相关内容
热门资讯
透视安装！wepoker有透视...
您好，菠萝德普辅助器免费版在哪里这款游戏可以开挂的，确实是有挂的，需要了解加去威信【48527505...
四分钟解迷！we-poker软...
四分钟解迷！we-poker软件（透视）切实有挂，2025新版总结（有挂秘诀）-哔哩哔哩四分钟解迷！...
脚本辅助！wepoker有辅助...
您好：wepoker有没有辅助挂这款游戏可以开挂的，确实是有挂的，很多玩家在这款游戏中打牌都会发现很...
透视最新！aapoker辅助软...
透视最新！aapoker辅助软件合法吗（透视）总是是真的挂，微扑克教程（有挂神器）-哔哩哔哩1、aa...
辅助工具！wepoker辅助透...
wepoker辅助透视方法是一款可以让一直输的玩家，快速成为一个“必胜”的ai辅助神器，有需要的用户...
透视脚本！哈糖大菠萝软件下载，...
透视脚本！哈糖大菠萝软件下载，佛手在线大菠萝辅助，大纲教程（发现有挂）-哔哩哔哩1、金币登录送、破产...
透视代打！德普之星透视辅助软件...
透视代打！德普之星透视辅助软件是真的吗（透视）竟然真的有挂，2025教程（有挂苹果）-哔哩哔哩一、德...
六分钟揭露！哈糖大菠萝挂（透视...
六分钟揭露！哈糖大菠萝挂（透视）本来存在有挂，靠谱教程（了解有挂）-哔哩哔哩1、每一步都需要思考，不...
3分钟了解！pokemmo脚本...
3分钟了解！pokemmo脚本辅助器下载（透视）都是存在有挂，德州教程（有挂技巧）-哔哩哔哩小薇（透...
透视ai！wepoker私人局...
透视ai！wepoker私人局透视方法，wepoker免费透视，妙招教程（证实有挂）-哔哩哔哩1、w...