Hive On Spark 报错:Failed to get a spark session: org.apache.hadoop.hive.ql.metadata.HiveException
创始人
2024-11-29 12:38:51
0

问题:

脚本中含有:数据装载进hive表的sql语句,在执行脚本的时候发生报错

报错信息:

原因:

hive on Spark 任务,想要运行时需要申请资源的。若在一定时间内无法申请到资源,会超时退出。

解决办法:

(1)最简洁、最有效的办法:

直接重启一下 hadoop集群(hdfs、yarn.....)

重新执行一下脚本,看这次是否能成功运行


(2)若方案一还是失败,则认为是yarn资源没分配够

修改hadoop的yarn-site.xml文件

添加以下内容:                 yarn.nodemanager.pmem-check-enabled          false                              yarn.nodemanager.vmem-check-enabled          false                              yarn.scheduler.minimum-allocation-mb         1024                   yarn.scheduler.maximum-allocation-mb         4096                             yarn.nodemanager.resource.memory-mb         4096     

然后去HDFS上删除 tmp 文件:

最后再次重启hadoop集群,使得改动生效即可

相关内容

热门资讯

透视辅助(轰趴大菠萝)外挂透明... 透视辅助(轰趴大菠萝)外挂透明辅助工具(辅助)原来真的有挂(2021已更新)(知乎);1、完成轰趴大...
三分钟了解"wpk透... 三分钟了解"wpk透视是真的假的!德州局透视(其实真的是有挂);wpk透视是真的假的是一款免费游玩的...
wpk ai辅助(wPK)aa... wpk ai辅助(wPK)aapoker安卓怎么下载(软件透明挂)的确是有挂的(有挂最新版)-哔哩哔...
1分钟曝光(德扑统计软件)微扑... 1分钟曝光(德扑统计软件)微扑克网页版辅助(2023已更新)(小红书);1、该软件可以轻松地帮助玩家...
黑科技辅助(wpk德州)外挂透... 黑科技辅助(wpk德州)外挂透明辅助插件(辅助透视)总是真的有挂(2023已更新)(微博客户端)1、...
3分钟了解"wepo... 3分钟了解"wepoker免费辅助器!拱趴大菠萝机器人(原来确实是有挂);拱趴大菠萝机器人是推出的一...
微扑克系统发牌规律(wepok... 微扑克系统发牌规律(wepoker)wpk积分后台管理系统(黑科技)的确是有挂的(有挂机器人)-微博...
七分钟掌握(线上微扑克代打)微... 七分钟掌握(线上微扑克代打)微扑克ai辅助工具(2024已更新)(小红书);小薇(透视辅助)致您一封...
透视辅助(咪咪扑克)外挂透明辅... 透视辅助(咪咪扑克)外挂透明辅助工具(辅助挂)果真真的有挂(2025已更新)(今日头条)在进入咪咪扑...
透视中牌率"hhpk... 透视中牌率"hhpkoer辅助器视频!poker world辅助(原来真的是有挂)申hhpkoer辅...