目录

1、简单的模版

2、简单的案例 

  2.1、python 执行.py 文件

  2.2、调式多个文件

  2.3、torchrun、deepspeed 调试

  2.4、accelerate launch （模块）

3、完整的案例

1、简单的模版

定义一个简单的模版如下：

{     // 使用 IntelliSense 了解相关属性。      // 悬停以查看现有属性的描述。     // 欲了解更多信息，请访问: https://go.microsoft.com/fwlink/?linkid=830387     "version": "0.2.0",     "configurations": [         {             "name": "Python 调试一",         // 可自定义             "type": "debugpy",             "request": "launch",             "program": "运行脚本的程序",  // 使用.py 脚本路径(相对路径)、which torchrun、which deepspeed等命令查看位置             "console": "integratedTerminal",             "justMyCode": false,       // 调试允许进入他人的代码             "env": {                 "PYTHONPATH": "${workspaceRoot}" // 设置vscode家路径为项目根路径, 搜索包时优先从该目录进行,防止发生import包错误             },             "args": [               // 参数，每个参数的参数值无论是否是数字都需用引号                 "--参数1","值1",                   "--model_name_or_path","facebook/opt-350m",                 "--per_device_train_batch_size", "4",                 "--per_device_eval_batch_size", "4"             ]         }     ] } 

2、简单的案例 

  2.1、python 执行.py 文件

bash 命令

# 加入当前目录的绝对路径 PYTHONPATH=$PWD export PYTHONPATH echo "当前bash执行目录: $PWD, 已经将PYTHONPATH设置为: $PYTHONPATH"  batch_dir=data/gpt3_generations_ceshi/  # 命令行python 进行执行 python self_instruct/bootstrap_instructions.py \     --batch_dir ${batch_dir} \     --num_instructions_to_generate 5  

命令行 python 进行执行脚本，构建launch.json 思路

• bash 为python执行脚本.py，直接修改"program"为.py脚本相对路径
• 其他参数照抄

{     // 使用 IntelliSense 了解相关属性。      // 悬停以查看现有属性的描述。     // 欲了解更多信息，请访问: https://go.microsoft.com/fwlink/?linkid=830387     "version": "0.2.0",     "configurations": [         {             "name": "Python 调试",             "type": "debugpy",             "request": "launch",             "program": "self_instruct/bootstrap_instructions.py",  // .py脚本文件相对路径位置             "console": "integratedTerminal",             "justMyCode": false,             "env": {                 "PYTHONPATH": "${workspaceRoot}" // 设置vscode项目根路径,搜索包时优先从该目录进行,防止发生import包错误             },             "args": [                 "--batch_dir","data/gpt3_generations_ceshi",// TODO 修改官方线上数据集为自己的路径                 "--num_instructions_to_generate","5"                 ]         }     ] } 

  2.2、调式多个文件

与调试单个文件同理，只是重复

{     // 使用 IntelliSense 了解相关属性。      // 悬停以查看现有属性的描述。     // 欲了解更多信息，请访问: https://go.microsoft.com/fwlink/?linkid=830387     "version": "0.2.0",     "configurations": [         // 第一个文件         {             "name": "Python 调试 bootstrap_instructions.py",             "type": "debugpy",             "request": "launch",             "program": "self_instruct/bootstrap_instructions.py",  // .py脚本文件相对路径位置             "console": "integratedTerminal",             "justMyCode": false,             "env": {                 "PYTHONPATH": "${workspaceRoot}" // 设置vscode项目根路径,搜索包时优先从该目录进行,防止发生import包错误             },             "args": [                 "--batch_dir","data/gpt3_generations_ceshi",// TODO 修改官方线上数据集为自己的路径                 "--num_instructions_to_generate","5"             ]         },         // 第二个文件         {             "name": "Python 调试 identify_clf_or_not.py",             "type": "debugpy",             "request": "launch",             "program": "self_instruct/identify_clf_or_not.py",  // .py脚本文件相对路径位置             "console": "integratedTerminal",             "justMyCode": false,             "env": {                 "PYTHONPATH": "${workspaceRoot}" // 设置vscode项目根路径,搜索包时优先从该目录进行,防止发生import包错误             },             "args": [                 "--batch_dir","data/gpt3_generations_ceshi",// TODO 修改官方线上数据集为自己的路径                 "--num_instructions_to_generate","5"             ]         }     ] } 

  2.3、torchrun、deepspeed 调试

bash 命令

# 加入当前目录的绝对路径 PYTHONPATH=$PWD export PYTHONPATH echo "当前bash执行目录: $PWD, 已经将PYTHONPATH设置为: $PYTHONPATH"  batch_dir=data/gpt3_generations_ceshi/  # 命令行python 进行执行 deepspeed --num_gpus 1 self_instruct/bootstrap_instructions.py \     --batch_dir ${batch_dir} \     --num_instructions_to_generate 5

命令行 deepspeed/torchrun 进行执行脚本，构建launch.json 思路

• 构建launch.json脚本时需要找到“deepspeed”命令的路径，bash命令行：which deepspeed，直接修改"program"为该路径。
• self_instruct/bootstrap_instructions.py 是执行的脚本的相对路径，不在主目录中，因此我们需要加入 "PYTHONPATH": "${workspaceRoot}" 指定项目目录到环境变量中，以防代码运行时出现 import 错误

{     // 使用 IntelliSense 了解相关属性。      // 悬停以查看现有属性的描述。     // 欲了解更多信息，请访问: https://go.microsoft.com/fwlink/?linkid=830387     "version": "0.2.0",     "configurations": [         {             "name": "Python 调试一阶段LORA",             "type": "debugpy",             "request": "launch",             "program": "/opt/conda/envs/dsc/bin/deepspeed",  // which deepspeed 查看位置             "console": "integratedTerminal",             "justMyCode": false,             "env": {                 "PYTHONPATH": "${workspaceRoot}" // 设置vscode项目根路径,搜索包时优先从该目录进行,防止发生import包错误             },             "args": [                 "--num_gpus", "1",                  "self_instruct/bootstrap_instructions.py",   // 给定脚本地址（相对路径）                 "--batch_dir","data/gpt3_generations_ceshi",                   "--num_instructions_to_generate","5"             ]         }     ] } 

  2.4、accelerate launch （模块）

# bash accelerate launch --config_file "examples/sft/configs/deepspeed_config_z3_qlora.yaml"  examples/sft/train.py \     --seed 100 \     --model_name_or_path "/workspace/Llama-2-7b-chat-hf" \     --dataset_name "smangrul/ultrachat-10k-chatml" \     --chat_template_format "chatml" \     --add_special_tokens False \     --append_concat_token False \     --splits "train,test" \     2>&1 | tee -a examples/sft/qlora_ds_zero3_log.out  

launch.json 

{     // 使用 IntelliSense 了解相关属性。      // 悬停以查看现有属性的描述。     // 欲了解更多信息，请访问: https://go.microsoft.com/fwlink/?linkid=830387     "version": "0.2.0",     "configurations": [         {             "name": "Python ds_z3_qlora_multigpu 微调",             "type": "debugpy",             "request": "launch",             "module": "accelerate.commands.launch",          //调试accelerate launch             "console": "integratedTerminal",             "justMyCode": false,             "env": {                 "PYTHONPATH": "${workspaceRoot}"             },             "args": [                 "--config_file", "examples/sft/configs/deepspeed_config_z3_qlora.yaml",                 "examples/sft/train.py",                 "--seed", "100",                 "--model_name_or_path", "/workspace/Llama-2-7b-chat-hf",                 "--dataset_name", "smangrul/ultrachat-10k-chatml",                 "--chat_template_format", "chatml",                 "--add_special_tokens", "False",                 "--append_concat_token", "False",                 "--splits", "train,test"               ]         }     ] } 

3、完整的案例

{     // 使用 IntelliSense 了解相关属性。      // 悬停以查看现有属性的描述。     // 欲了解更多信息，请访问: https://go.microsoft.com/fwlink/?linkid=830387     "version": "0.2.0",     "configurations": [         // py 脚本         {             "name": "Python lora 微调",             "type": "debugpy",             "request": "launch",             "program": "finetune_demo/finetune_hf.py",             "console": "integratedTerminal",             "justMyCode": false,             "env": {                 "PYTHONPATH": "${workspaceRoot}"             },             "args": [                 "/workspace/AdvertiseGen_fix",                   "/workspace/chatglm3-6b",                 "finetune_demo/configs/lora.yaml"             ]         },         // torchrun 分布式         {             "name": "Python lora_ds 微调",             "type": "debugpy",             "request": "launch",             "program": "/opt/conda/envs/llm/bin/torchrun",             "console": "integratedTerminal",             "justMyCode": false,             "env": {                 "PYTHONPATH": "${workspaceRoot}"             },             "args": [                 "--nproc_per_node","1",                 "finetune_demo/finetune_hf.py",                 "/workspace/AdvertiseGen_fix",                   "/workspace/chatglm3-6b",                 "finetune_demo/configs/lora.yaml"             ]         }     ] }