1. 一般来说CUDA安装在 /usr/local/ 目录下，可以在 /usr/local/ 目录下通过ls命令查看已经安装的cuda版本，如下图所示：

这里可以看到服务器中当前已经安装了cuda-11.6、cuda-11.7、cuda-12.0三个版本，其中cuda-11.6是我本次安装的版本。

2. CUDA安装：

• 下载CUDA：https://developer.nvidia.com/cuda-toolkit-archive

• 根据自己的需要选择操作系统和版本等参数，这次安装的是11.6.0的版本。

• 选择完成后，根据Base Installer中的命令依次在服务器中执行：

# 将文件下载到服务器中 wget https://developer.download.nvidia.com/compute/cuda/11.6.0/local_installers/cuda_11.6.0_510.39.01_linux.run # 安装 sudo sh cuda_11.6.0_510.39.01_linux.run

CUDA安装完成。

3. cudnn安装：

• 下载cudnn：https://developer.nvidia.com/rdp/cudnn-archive

• 根据自己的需要选择，这次安装的是8.4.0的版本。可以下载到本地再上传至服务器，也可以直接在服务器中通过命令下载：

wget https://developer.nvidia.com/compute/cudnn/secure/8.4.0/local_installers/11.6/cudnn-linux-x86_64-8.4.0.27_cuda11.6-archive.tar.xz

• 进入cudnn的存储路径，进行解压：

tar -xf cudnn-linux-x86_64-8.4.0.27_cuda11.6-archive.tar.xz

• 然后在当前路径输入命令：

# 复制文件 sudo cp cudnn-linux-x86_64-8.4.0.27_cuda11.6-archive/include/* /usr/local/cuda-11.6/include/ sudo cp cudnn-linux-x86_64-8.4.0.27_cuda11.6-archive/lib/* /usr/local/cuda-11.6/lib64/ # 添加读取权限 sudo chmod a+r /usr/local/cuda-11.6/lib64/* sudo chmod a+r /usr/local/cuda-11.6/include/*

cudnn安装完成。

4. 由于每个人的账户不一样，使用的CUDA版本也可能不一样，所以在系统目录下完成CUDA和cudnn安装之后需要进入个人账户中进行如下设置：

• 打开.bashrc文件：

vim ~/.bashrc

• 按“a”进入编辑模式，将下面三句话粘贴进去（注意：cuda-11.6是我的安装目录，需要换成自己的CUDA安装目录。)：

export CUDA_HOME=/usr/local/cuda export PATH=$PATH:$CUDA_HOME/bin  export LD_LIBRARY_PATH=/usr/local/cuda-11.6/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

• 按"Esc" 退出编辑模式，输入“:wq”（注意：这里的冒号是必须要有的）之后按回车（Enter）保存并退出。

5. 测试：

• 检查CUDA是否安装成功：

nvcc -V

• 检查cudnn版本号：

cat /usr/local/cuda/include/cudnn_version.h | grep CUDNN_MAJOR -A 2

至此CUDA、cudnn安装完成。

6. 如果要切换其他版本的CUDA，可以重复第4步，修改.bashrc文件即可。比如，从cuda-11.6切换到cuda-11.7只需要将.bashrc文件中的

export LD_LIBRARY_PATH=/usr/local/cuda-11.6/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

改为下文即可

export LD_LIBRARY_PATH=/usr/local/cuda-11.7/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}