LlamaFactory可视化微调大模型 - 参数详解_开发测试

创始人

2025-01-15 13:05:45

0次

LLaMA Factory 是一个用于微调大型语言模型的强大工具，特别是针对 LLaMA 系列模型。

可以适应不同的模型架构和大小。

支持多种微调技术，如全参数微调、LoRA（ Low-Rank Adaptation ）、QLoRA（ Quantized LoRA ）等。

还给我们提供了简单实用的命令行接口。

支持多 cpu 训练，多任务微调，还有各种内存优化技术，如梯度检查点、梯度累积等。

支持混合精度训练，提高训练效率。

本文不再赘述 LlamaFactory 的安装过程

打开我们 LlamaFactory 的 web 运行界面，进入根目录执行下列命令：

llamafactory-cli webui

看到下列界面

在浏览器打开我们开启的 webui 界面 http://127.0.0.1:7860：

我们依次来解释每个参数的选择：

这里是语言选择

选择 zh 即可。

模型选择

选择适合自己的模型，这里都会从 Hugging Face 里面下载，

这一步是自定义路径

一般就用选择好的默认路径即可。

微调方法：

这里有三种，full全参数微调， Freeze（冻结部分参数） LoRA&

热点推荐！微信小程序途游辅助免... 热点推荐！微信小程序途游辅助免费，有哪些免费的wpk作弊码，细节揭秘（有挂技巧）-哔哩哔哩是一款可以...

重大消息！互游辅助脚本，哈糖大... 重大消息！互游辅助脚本，哈糖大菠萝怎么开挂，德州教程（有挂助手）-哔哩哔哩；互游辅助脚本简单的灵活控...

推荐一下！福建天天开心辅助真实... 推荐一下！福建天天开心辅助真实性，黑桃a3辅助，一贯有挂（哔哩哔哩）1、起透看视福建天天开心辅助真...

今日焦点！腾讯欢乐卡五星辅助器... 今日焦点！腾讯欢乐卡五星辅助器，wepoker怎么下载游戏，力荐教程（真是有挂）-哔哩哔哩;亲，有的...

解谜一下！大宝苏北麻将怎么开挂... 解谜一下！大宝苏北麻将怎么开挂，开心游戏快跑辅助，其实存在有挂（哔哩哔哩）大宝苏北麻将怎么开挂能透视...

一分钟揭秘！边锋老友杰克辅助，... 一分钟揭秘！边锋老友杰克辅助，wepoker私人局俱乐部怎么进，插件教程（新版有挂）-哔哩哔哩;AI...

详情一下！九九山城辅助免费，浙... 详情一下！九九山城辅助免费，浙江宝宝游戏辅助工具，一贯存在有挂（哔哩哔哩）1、下载好九九山城辅助免费...

玩家必看教程！白金岛跑胡子脚本... 玩家必看教程！白金岛跑胡子脚本，微扑克游戏辅助器，科技教程（有挂秘诀）-哔哩哔哩；白金岛跑胡子脚本最...

有挂一下！老友广东潮汕麻雀，山... 有挂一下！老友广东潮汕麻雀，山西扣点带你辅助工具破解，都是是有挂（哔哩哔哩）1、老友广东潮汕麻雀模拟...

今日重大通报！花舍辅助，wep... 今日重大通报！花舍辅助，wepoker软件靠谱么，必备教程（有挂方式）-哔哩哔哩;1、不需要AI权限...