Hive On Spark 报错:Failed to get a spark session: org.apache.hadoop.hive.ql.metadata.HiveException
创始人
2024-11-29 12:38:51
0

问题:

脚本中含有:数据装载进hive表的sql语句,在执行脚本的时候发生报错

报错信息:

原因:

hive on Spark 任务,想要运行时需要申请资源的。若在一定时间内无法申请到资源,会超时退出。

解决办法:

(1)最简洁、最有效的办法:

直接重启一下 hadoop集群(hdfs、yarn.....)

重新执行一下脚本,看这次是否能成功运行


(2)若方案一还是失败,则认为是yarn资源没分配够

修改hadoop的yarn-site.xml文件

添加以下内容:                 yarn.nodemanager.pmem-check-enabled          false                              yarn.nodemanager.vmem-check-enabled          false                              yarn.scheduler.minimum-allocation-mb         1024                   yarn.scheduler.maximum-allocation-mb         4096                             yarn.nodemanager.resource.memory-mb         4096     

然后去HDFS上删除 tmp 文件:

最后再次重启hadoop集群,使得改动生效即可

相关内容

热门资讯

受玩家影响!cloudpoke... 受玩家影响!cloudpoker开挂,淘宝买wepoker透视有用吗(透视)经验教程(切实存在有挂)...
透视详情!如何下载德普之星辅助... 透视详情!如何下载德普之星辅助软件(透视)德州透视竞技联盟,教程秘籍(有挂详情)-哔哩哔哩暗藏猫腻,...
此事备受玩家关注!德州私人局脚... 此事备受玩家关注!德州私人局脚本,wepoker辅助器是真的吗(透视)策略教程(好像有挂)1、下载好...
透视关于!wepoker看底牌... 透视关于!wepoker看底牌(透视)wepoker怎么设置房间,教程教材(了解有挂)-哔哩哔哩运w...
据报道!佛手在线是不是有挂,w... 据报道!佛手在线是不是有挂,wepoker辅助软件价格(透视)绝活教程(一直存在有挂)1、玩家可以在...
透视科普!wpk模拟器是什么(... 透视科普!wpk模拟器是什么(透视)wepoker分析,教程法门(有挂存在)-哔哩哔哩1、下载好wp...
更值得关注的是!wepoker... 更值得关注的是!wepokerplus开挂,aapoker辅助器怎么用(透视)方针教程(果然真的是有...
透视解密!wpk透视插件(透视... 透视解密!wpk透视插件(透视)wpk私人局辅助是真的吗,教程办法(有挂秘籍)-哔哩哔哩1、用户打开...
来临!wepoker数据分析,... 来临!wepoker数据分析,wepoker可以透视码(透视)方针教程(原来是真的挂)1、下载好we...
透视解谜!约局吧德州透视(透视... 透视解谜!约局吧德州透视(透视)xpoker怎么透视,教程方案(有挂分析)-哔哩哔哩1、游戏颠覆性的...