Hadoop3：HDFS存储优化之小文件归档
创始人
2024-12-28 20:07:19
0次
一、情景说明
我们知道，NameNode存储一个文件元数据，默认是150byte大小的内存空间。
那么，如果出现很多的小文件，就会导致NameNode的内存占用。
但注意，存储小文件所需要的磁盘容量和数据块的大小无关。
例如，一个1MB的文件设置为128MB的块存储，实际使用的是1MB的磁盘空间，而不是128MB。
二、解决方案
HDFS存档文件或HAR文件来优化这个问题
具体说来，HDFS存档文件对内还是一个一个独立文件，对NameNode而言却是一个整体，减少了NameNode的内存。
它的底层，其实是一个MR程序。
你可以简单理解为，它就是一个压缩程序。
三、案例
将/input目录下的文件归档成input.har文件，并存于根目录。
归档文件
hadoop archive -archiveName input.har -p /input /output 
查看归档文件内容
hadoop fs -ls /output/input.har hadoop fs -ls har:///output/input.har 
解压归档文件中所有文件
hadoop fs -cp har:///output/input.har/* / 解压归档文件中一个文件
hadoop fs -cp har:///output/input.har/hello.txt / 
相关内容
热门资讯
推荐一下！青橙竞技卡五星辅助，...
推荐一下！青橙竞技卡五星辅助，新518互游脚本下载，好像是真的有挂（哔哩哔哩）青橙竞技卡五星辅助透视...
总结一下！老友广东麻将辅助，杭...
总结一下！老友广东麻将辅助，杭州都莱辅助，切实真的是有挂（哔哩哔哩）1、在老友广东麻将辅助插件功能辅...
解迷一下！创思维激k怎么开挂，...
解迷一下！创思维激k怎么开挂，创思维辅助软件，切实真的有挂（哔哩哔哩）1、创思维激k怎么开挂辅助器安...
辅助一下！微信微乐游戏辅助脚本...
辅助一下！微信微乐游戏辅助脚本，拱趴大菠萝有辅助吗，总是有挂（哔哩哔哩）辅助一下！微信微乐游戏辅助脚...
辅助一下！时光互娱房卡辅助，新...
辅助一下！时光互娱房卡辅助，新漫游免费辅助器，本来真的有挂（哔哩哔哩）1、让任何用户在无需时光互娱房...
关于一下！多乐跑得快私人房间作...
关于一下！多乐跑得快私人房间作弊视频，来来拼十辅助，都是真的有挂（哔哩哔哩）1、打开软件启动之后找到...
教你一下！卡五星游戏源码，决战...
教你一下！卡五星游戏源码，决战卡五星辅助器，其实是有挂（哔哩哔哩）1）决战卡五星辅助器辅助插件：进一...
普及一下！同乡游有辅助软件码，...
普及一下！同乡游有辅助软件码，老友广东辅助器，总是是有挂（哔哩哔哩）1、上手简单，内置详细流程视频教...
曝光一下！创思维激k有辅助器吗...
曝光一下！创思维激k有辅助器吗，hhpoker辅助是真的吗，好像存在有挂（哔哩哔哩）创思维激k有辅助...
总结一下！边锋干瞪眼小程序辅助...
总结一下！边锋干瞪眼小程序辅助，心悦踢辅助软件，真是存在有挂（哔哩哔哩）1、这是跨平台的边锋干瞪眼小...