Hive On Spark 报错:Failed to get a spark session: org.apache.hadoop.hive.ql.metadata.HiveException
创始人
2024-11-29 12:38:51
0

问题:

脚本中含有:数据装载进hive表的sql语句,在执行脚本的时候发生报错

报错信息:

原因:

hive on Spark 任务,想要运行时需要申请资源的。若在一定时间内无法申请到资源,会超时退出。

解决办法:

(1)最简洁、最有效的办法:

直接重启一下 hadoop集群(hdfs、yarn.....)

重新执行一下脚本,看这次是否能成功运行


(2)若方案一还是失败,则认为是yarn资源没分配够

修改hadoop的yarn-site.xml文件

添加以下内容:                 yarn.nodemanager.pmem-check-enabled          false                              yarn.nodemanager.vmem-check-enabled          false                              yarn.scheduler.minimum-allocation-mb         1024                   yarn.scheduler.maximum-allocation-mb         4096                             yarn.nodemanager.resource.memory-mb         4096     

然后去HDFS上删除 tmp 文件:

最后再次重启hadoop集群,使得改动生效即可

相关内容

热门资讯

黑科技最新(cloudpoke... 黑科技最新(cloudpoker挂)外挂透明挂辅助下载(透视)一向是真的有挂(有挂详情)-哔哩哔哩是...
黑科技辅助!微扑克辅助器ios... 黑科技辅助!微扑克辅助器ios(透视)软件透明挂ai辅助工具(竟然存在有挂)-哔哩哔哩;致您一封信;...
黑科技辅助!wepoke挂真的... 您好:wepoke挂真的这款游戏可以开挂的,确实是有挂的,很多玩家在这款游戏中打牌都会发现很多用户的...
黑科技辅助(wEpoke)外挂... 黑科技辅助(wEpoke)外挂透明挂辅助神器(透视)2025教程(2026已更新)(哔哩哔哩);wE...
黑科技智能ai(微扑克工具)外... 黑科技智能ai(微扑克工具)外挂透明挂辅助插件(透视)固有真的有挂(真的有挂)-哔哩哔哩;微扑克工具...
黑科技辅助!poker外挂(透... 黑科技辅助!poker外挂(透视)软件透明挂ai辅助ai(切实真的有挂)-哔哩哔哩;最新版2026是...
黑科技辅助!wepoke透明挂... 黑科技辅助!wepoke透明挂件(透视)果然是有挂(有挂猫腻)-哔哩哔哩;wepoke透明挂件软件透...
黑科技辅助(wepower)外... 黑科技辅助(wepower)外挂透明挂辅助下载(透视)曝光教程(2025已更新)(哔哩哔哩);wep...
黑科技了解(微扑克辅助神器)外... 黑科技了解(微扑克辅助神器)外挂透明挂辅助黑科技(透视)好像是有挂(有挂总结)-哔哩哔哩是一款可以让...
黑科技辅助!云扑克有辅助软件(... 黑科技辅助!云扑克有辅助软件(透视)软件透明挂ai辅助挂(原生有挂)-哔哩哔哩;黑科技辅助!云扑克有...