Dell R730 2U服务器实践3:安装英伟达上代专业AI训练Nvidia P4计算卡
创始人
2025-01-20 15:08:06
0次

Dell R730是一款非常流行的服务器,2U的机箱可以放入两张显卡,这次先用一张英伟达上代专业级AI训练卡:P4卡做实验,本文记录安装过程。


简洁步骤:

  1. 打开机箱
  2. 将P4显卡插在4号槽位
  3. 关闭机箱
  4. 安装驱动

详细步骤:

对于新手来说,步步为坑,有很多小细节需要注意。

了解硬件情况

首先了解到,R730号称可以装两块显卡
打开机箱,发现pci扩展槽上有4567四个插槽。
其中4号槽位是PCI-E3×16 ,其它三个槽位是PCI-E3×8 ,因此决定将P4插在4号槽。 另外要注意的是4号槽对应CPU2 ,因此单CPU是不能用这个插槽的。

我的这台机器4号槽位还有个插槽保护部件插在上面,怎么拿下来也是尝试了一小会儿。

第一次装显卡,插卡的免螺丝固定部分,有个塑料件,安装前需要先用手扳上来,实在难住了我,多次尝试才找到发力点,话说Dell的免螺丝设计还是挺不错的。插好P4后,再把那个塑料固定件按下去固定显卡。

装好之后,在ESXi下,找PCI设备,将P4卡设置为直通。这是在ESXi主机管理界面,而不是Ubuntu主机里,管理-硬件-PCI设备,然后搜索p4,就显示出来,选中之后,点击“切换直通”,就设置好了。

这样p4卡的硬件部分就安装完成了!

安装系统ESXi+Ubuntu22.0

原系统是raid0,改成了raid1。

重新安装ESXi,然后再创建Ubuntu虚拟机,装Ubuntu22.0版本,确认将P4卡在ESXi里设为设为直通。

注意,设为直通后,就要设置“保留内存”选项,也就是设置了多少内存就要保留多少内存,否则虚拟机报错无法启动。参见:Dell R730 2U服务器实践2:VMWare ESXi安装-CSDN博客

P4驱动安装

安装驱动比较顺手了,先

从官网下载驱动再手动安装。

用nvidia-smi验证驱动是否安装好了,碰到了问题:

报错:couldn't communicate with the NVIDIA

使用从官网下驱动,手动安装的方式,结果安装后运行nvidia-smi报错:不能与nvidia驱动通信。

NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver. Make sure that the latest NVIDIA driver is installed and running.

换一种方法,

使用 ubuntu-drivers 安装驱动

执行:

sudo ubuntu-drivers devices # 查看可以装的驱动

sudo ubuntu-drivers autoinstall  # 安装驱动

结果还是显示无法与nvidia驱动通信....

使用dkms安装驱动

网上建议用dkms安装驱动,执行:

sudo apt install dkms

sudo dkms install -m nvidia -v 525.147.05

这样由dkms安装驱动,非常简单方便。我记得这里的驱动需要从前面sudo ubuntu-drivers devices显示的驱动里面选。

安装驱动的时候提示重启之后需要密码验证。(我没看见验证啊)

问题没有解决。

apt install安装驱动

先看有哪些驱动

sudo nvidia-drivers device

vendor   : NVIDIA Corporation
model    : GP104GL [Tesla P4]
driver   : nvidia-driver-390 - distro non-free
driver   : nvidia-driver-450-server - distro non-free
driver   : nvidia-driver-470 - distro non-free recommended
driver   : nvidia-driver-470-server - distro non-free
driver   : nvidia-driver-418-server - distro non-free
driver   : xserver-xorg-video-nouveau - distro free builtin

然后使用apt安装:sudo apt install nvidia-driver-470-server

apt 安装也还是不行。

skywalk@ub22:~$ sudo modprobe nvidia
modprobe: ERROR: could not insert 'nvidia': Operation not permitted

ubuntu 已经说了推荐nvidia-driver-470,再来一次:

sudo apt install nvidia-driver-470

照旧。

其实上面四种安装驱动的方法都是可行的,但是为什么会报错呢? 原来是因为有个地方没有设置对!

设置 关闭 UEFI 安全引导

看到这篇文章里ESXI8.0下直通NVIDIA Tesla P4显卡给Ubuntu22.04系统中Docker容器里的Jellyfin使用 - 哔哩哔哩 (bilibili.com)讲到“是否为此虚拟机启用 UEFI 安全引导” 这里要关掉。

关掉试试,再执行nvidia-smi,哇,成功拉!

安装pytorch和飞桨paddlepaddle

到各自的官网,通过官网指引进行pip或conda安装,AI训练环境搞定!

如果飞桨碰到“libstdc++.so.6: version 'GLIBCXX_3.4.30' not found”报错,使用

conda install -c conda-forge gcc=12.2.0 -y 解决问题。

总结

使用ESXi虚拟机在Ubuntu安装P4计算卡有几个注意的细节:

1 ESXi里虚拟机ubuntu的内存设置里需要勾选“保留内存”

2 在ESXi里设置P4计算卡为“直通”

3 ESXi里虚拟机ubuntu的启动设置里关闭“是否为此虚拟机启用 UEFI 安全引导”

其它地方就跟我们平时使用一样了。

前一篇:Dell R730 2U服务器实践2:VMWare ESXi安装-CSDN博客

相关内容

热门资讯

信息共享辅助!百盛娱乐辅助多功... 信息共享辅助!百盛娱乐辅助多功能AI软件,百盛娱乐确实存在有辅助软件百盛娱乐能透视中分为三种模型:百...
安装程序教程开挂!天游大厅开挂... 安装程序教程开挂!天游大厅开挂多功能AI技巧,天游大厅一贯存在有开挂技巧1、每一步都需要思考,不同水...
一起来讨论辅助器!超稳新城辅助... 一起来讨论辅助器!超稳新城辅助器多功能AI脚本,超稳新城总是有辅助器脚本1、超稳新城破解器简单,超稳...
发现一款辅助!新果汁大厅辅助多... 发现一款辅助!新果汁大厅辅助多功能AI方法,新果汁大厅一直有辅助方法1、下载好新果汁大厅正确养号方法...
玩家必看科普外挂!红莲外挂多功... 玩家必看科普外挂!红莲外挂多功能AI脚本,红莲总是真的有外挂脚本运红莲辅助工具,进入游戏界面。进入红...
WPK下载透视挂,wpk透视是... WPK下载透视挂,wpk透视是真的假的,微扑克本来真的有透视挂攻略1)wpk透视是真的假的免费钻石:...
WPK链接透视,智星德州辅助译... WPK链接透视,智星德州辅助译码插件靠谱吗,智星菠萝德州本来真的有透视工具1、完成智星德州辅助译码插...
WPK私人局开挂,德扑之星透视... WPK私人局开挂,德扑之星透视辅助软件是真的吗,wpk竟然是有开挂工具1、下载好德扑之星透视辅助软件...
WPK透视辅助器,pokerw... WPK透视辅助器,pokerworld破解版下载,德州扑克原来真的有辅助器教程该软件可以轻松地帮助玩...
WPK靠谱开挂,哈糖大菠萝免费... WPK靠谱开挂,哈糖大菠萝免费辅助器,WePoKer真是存在有开挂软件1、金币登录送、破产送、升级送...