脚本中含有:数据装载进hive表的sql语句,在执行脚本的时候发生报错
hive on Spark 任务,想要运行时需要申请资源的。若在一定时间内无法申请到资源,会超时退出。
直接重启一下 hadoop集群(hdfs、yarn.....)
重新执行一下脚本,看这次是否能成功运行
修改hadoop的yarn-site.xml文件
添加以下内容: yarn.nodemanager.pmem-check-enabled false yarn.nodemanager.vmem-check-enabled false yarn.scheduler.minimum-allocation-mb 1024 yarn.scheduler.maximum-allocation-mb 4096 yarn.nodemanager.resource.memory-mb 4096
然后去HDFS上删除 tmp 文件:
最后再次重启hadoop集群,使得改动生效即可