前置文档：Python｜Windows 安装 DeepSpeed 报错 Unable to pre-compile async_io 处理

直接 pip 安装 deepspeed 的报错信息

如果直接使用 pip install DeepSpeed 安装，会触发如下报错信息。出现后，需使用如下方法完成安装。

Collecting deepspeed   Downloading deepspeed-0.14.3.tar.gz (1.3 MB)      ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 1.3/1.3 MB 4.1 MB/s eta 0:00:00   Preparing metadata (setup.py) ... error   error: subprocess-exited-with-error    × python setup.py egg_info did not run successfully.   │ exit code: 1   ╰─> [15 lines of output]       test.c       LINK : fatal error LNK1181: 无法打开输入文件“aio.lib”       Traceback (most recent call last):         File "", line 2, in          File "", line 34, in          File "C:\Users\Changxing\AppData\Local\Temp\pip-install-m3_5w4lm\deepspeed_f82b888e581d4d19a24987ccd691885a\setup.py", line 181, in            abort(f"Unable to pre-compile {op_name}")         File "C:\Users\Changxing\AppData\Local\Temp\pip-install-m3_5w4lm\deepspeed_f82b888e581d4d19a24987ccd691885a\setup.py", line 53, in abort           assert False, msg       AssertionError: Unable to pre-compile async_io       DS_BUILD_OPS=1        [WARNING]  async_io requires the dev libaio .so object and headers but these were not found.        [WARNING]  If libaio is already installed (perhaps from source), try setting the CFLAGS and LDFLAGS environment variables to where it can be found.        [WARNING]  One can disable async_io with DS_BUILD_AIO=0        [ERROR]  Unable to pre-compile async_io       [end of output]    note: This error originates from a subprocess, and is likely not a problem with pip. error: metadata-generation-failed  × Encountered error while generating package metadata. ╰─> See above for output.  note: This is an issue with the package mentioned above, not pip. hint: See above for details. 

Windows 安装 DeepSpeed 的方法

Step 1｜克隆 DeepSpeed 仓库

git clone https://github.com/microsoft/DeepSpeed.git 

Step 2｜使用 PowerShell，进入 DeepSpeed 仓库路径

PowerShell 可以通过 Win + r 搜索 powershell 启动。

cd DeepSpeed 

Step 3｜设置环境变量

Set-Item Env:\DS_BUILD_OPS 0 

Step 4｜修复 DeepSpeed 仓库 2024.06.01 提交引入的 Bug

此时如果直接执行 setup.py 编译 DeepSpeed，可能会触发如下报错，这是因为 2024.06.01 的提交引入的 Bug：

Traceback (most recent call last):   File "C:\Git-source\DeepSpeed\setup.py", line 212, in      shutil.copytree('.\\csrc', '.\\deepspeed\\ops')   File "C:\py\py311\Lib\shutil.py", line 561, in copytree     return _copytree(entries=entries, src=src, dst=dst, symlinks=symlinks,            ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^   File "C:\py\py311\Lib\shutil.py", line 459, in _copytree     os.makedirs(dst, exist_ok=dirs_exist_ok)   File "", line 225, in makedirs FileExistsError: [WinError 183] 当文件已存在时，无法创建该文件。: '.\\deepspeed\\ops' 

观察报错信息，可以看到是 setup.py 中的第 211 - 215 行，这段代码如下：

if sys.platform == "win32":     shutil.copytree('.\\csrc', '.\\deepspeed\\ops')     shutil.copytree('.\\op_builder', '.\\deepspeed\\ops')     shutil.copytree('.\\accelerator', '.\\deepspeed\\accelerator')     egg_info.manifest_maker.template = 'MANIFEST_win.in' 

可以看到，这三行尝试将 csrc 复制到 deepspeed/ops 下时，发现路径已存在。查看这 3 个文件，发现其中 Linux 中使用的重定向文件。但是，这里的用法时错误的，无法覆盖文件，且路径也是错误的。这个提交是 2024.06.01 的提交，对应的 Issue 是：https://github.com/microsoft/DeepSpeed/pull/5596。

而无法 Build 的问题也已经提交了 Issue：https://github.com/microsoft/DeepSpeed/issues/5679。

将 211 - 215 行修改为如下逻辑：

if sys.platform == "win32":     shutil.copytree('.\\csrc', '.\\deepspeed\\ops\\csrc')     shutil.copytree('.\\op_builder', '.\\deepspeed\\ops\\op_builder')     shutil.copytree('.\\accelerator', '.\\deepspeed\\accelerator')     egg_info.manifest_maker.template = 'MANIFEST_win.in' 

并且，因为 shutil.copytree 不会实现覆盖，所以需要手动删除掉 DeepSpeed/deepspeed/ops 下的 crsc 和 op_builder 文件，以及 DeepSpeed/deepspeed 路径下的 accelerator 文件。

Step 5｜编译 DeepSpeed 仓库

执行 build_win.bat 脚本编译，其中在配置环境变量后，也是通过 setup.py 完成编译：

.\build_win.bat 

如果运行出现如下报错，则说明需要执行 Step 4 的步骤：

FileExistsError: [WinError 183] 当文件已存在时，无法创建该文件。: '.\\deepspeed\\ops' 

FileExistsError: [WinError 183] 当文件已存在时，无法创建该文件。: '.\\deepspeed\\accelerator' 

Step 6｜进入 dist 路径

进入 dist 路径，查看其中文件，应已经包含刚才成功编译的包：

cd dist ls 

    目录: C:\Git-source\DeepSpeed\dist   Mode                 LastWriteTime         Length Name ----                 -------------         ------ ---- -a----         2024/6/17      8:34        1018363 deepspeed-0.14.4+eda5075b-py3-none-any.whl 

Step 7｜安装编译生成的包

pip install deepspeed-0.14.4+eda5075b-py3-none-any.whl 

安装成功。