服务器GPU温度过高挂掉排查记录Unable to determine the device handle for GPU 0000:01:00.0: Unknown Error
创始人
2025-01-21 00:35:48
0次

服务器GPU挂掉

跑深度学习的代码的时候发现中断了。通过命令查看:

nvidia-smi 

显示

Unable to determine the device handle for GPU 0000:01:00.0: Unknown Error。 

感觉很莫名其妙。通过重启大法之后,又能用一段时间。

shutdown -r now 

但是过了一个小时左右又会挂掉。不能从根本解决问题。那么到底为什么GPU会自己挂掉呢?

问题排查

通过查看日志定位错误原因:

nvidia-bug-report.sh 

在当前目录下生成了nvidia-bug-report.log日志文件。查看到日志文件的内容如下:

在这里插入图片描述
网上查找一下这个报错码79https://forums.developer.nvidia.com/t/gpu-has-fallen-of-the-bus/122124发现要么是电源问题,要么是温度过高问题。
在这里插入图片描述

重现问题,查看温度日志

如果判断是否是GPU温度过高呢?需要打一个温度日志,再运行一下代码,看GPU温度是否超过了shutdown 温度(GPU温度过高会自动掉线保护GPU)。命令如下:

nvidia-smi -q -l 2 -d TEMPERATURE -f nvidiatemp.log  

代码继续跑,等待问题重现后查看温度日志就可以确定是否是温度过高导致GPU自动掉线了。
果然,当GPU掉线后,查看温度日志:
在这里插入图片描述
上图中CurrentTemp表示当前温度,Shutdown Temp表示超过这个温度GPU会自动掉线。Target Temp表示目标温度(GPU比较合适的温度)。
找到问题了!就是温度过热导致GPU掉线!

解决问题

温度过热?
多半是散热不行,果然,发现一个风扇明显转的较慢。猜测可能是那个风扇坏掉了。
于是将显卡风扇拆下来。通过拨动发现其中一个风扇没另一个风扇灵活。拆开发现转轴有点杂质,增大了风扇阻力,清理了一下,上了点润滑油。(当然直接换风扇最为方便!!!免得担心风扇被拆坏掉)
在这里插入图片描述

装上后发现能正常工作,温度再也没有超负荷过!问题完美解决!

参考链接

gpu-has-fallen-of-the-bus

相关内容

热门资讯

一分钟了解作弊器!七天娱乐作弊... 一分钟了解作弊器!七天娱乐作弊器多功能AIapp,七天娱乐竟然真的有作弊器app1、超多福利:超高返...
一分钟教会你辅助!道游互娱辅助... 一分钟教会你辅助!道游互娱辅助多功能AI软件,道游互娱原来存在有辅助软件1、道游互娱公共底牌简单,道...
教程攻略透视器!神牛大厅透视器... 教程攻略透视器!神牛大厅透视器多功能AI软件,神牛大厅好像有透视器软件1、任何神牛大厅透视是真的假的...
来一盘辅助!悠悠互娱辅助多功能... 来一盘辅助!悠悠互娱辅助多功能AIapp,悠悠互娱确实是有辅助app1、游戏颠覆性的策略玩法,独创攻...
分享个大家作弊器!上游大厅作弊... 分享个大家作弊器!上游大厅作弊器多功能AI工具,上游大厅一直存在有作弊器工具1、用户打开应用后不用登...
玩家必看科普外挂!千秋互娱外挂... 玩家必看科普外挂!千秋互娱外挂多功能AI工具,千秋互娱竟然是真的有外挂工具1、千秋互娱模拟器是什么优...
今日百科透视器!新漫游透视器多... 今日百科透视器!新漫游透视器多功能AI工具,新漫游果然真的是有透视器工具1、玩家可以在新漫游线上大神...
终于知道外挂!多多娱乐外挂多功... 终于知道外挂!多多娱乐外挂多功能AI技巧,多多娱乐确实真的是有外挂技巧1、用户打开应用后不用登录就可...
推荐一款作弊器!豪发娱乐作弊器... 推荐一款作弊器!豪发娱乐作弊器多功能AI插件,豪发娱乐一贯真的有作弊器插件1、豪发娱乐辅助软件下载优...
专业讨论透视器!道游互娱透视器... 专业讨论透视器!道游互娱透视器多功能AI软件,道游互娱都是是有透视器软件1、该软件可以轻松地帮助玩家...