论文略读：LoRA Learns Less and Forgets Less
创始人
2024-12-26 12:03:56
0次

202405 arxiv

1 主要思想

LORA相比于全参数训练，学的少，但忘的也少

2 实验分析

2.1 训练的表现

  • 在编程和数学任务中，LoRA相比全参数微调表现出明显的劣势

2.2 遗忘的表现

  • 这边的遗忘，是指在数据集A上预训练，然后在数据集B上继续finetune，看在数据集A上的表现
  • 相比全参数微调，LoRA学会的东西较少，但遗忘也相对更少

3 论文的分析：Lora的正则化特性

  •  LoRA提供了比经典正则化技术，如权重衰减和dropout，更强的正则化效果。
  • 在下游任务上LoRA的表现低于大多数正则化方法（左图）；在遗忘上LoRA优于所有正则化方法（右图）

上一篇：详解：adobe国际认证有多少种

下一篇：第一了解!wEPOKE软件透明挂辅助脚本,微扑克到底有辅助器(果真有挂)-哔哩哔哩

相关内容

热门资讯

脚本解密！wpk透视辅助方法，... 脚本解密！wpk透视辅助方法，有哪些免费的wpk作必弊码（透视）真是是真的app（哔哩哔哩）；1、上...
脚本解谜！hhpoker软件安... 脚本解谜！hhpoker软件安装包，hhpoker视频巡查真的假的（透视）一直真的是有插件（哔哩哔哩...
脚本分享！wpk显示有作必弊，... 脚本分享！wpk显示有作必弊，wpk俱乐部辅助器（透视）总是真的有软件（哔哩哔哩）1、让任何用户在无...
透视关于！wepoker怎么拿... 透视关于！wepoker怎么拿到好牌，wepokerplus辅助（透视）确实真的是有app（哔哩哔哩...
透视详情！hhpoker怎么破... 透视详情！hhpoker怎么破解，hhpoker底牌透视脚本（透视）总是真的有技巧（哔哩哔哩）1、实...
脚本透视！aapoker脚本，... 脚本透视！aapoker脚本，aapoker如何设置胜率（透视）总是是有技巧（哔哩哔哩）小薇（辅助器...
脚本详情！德普之星辅助工具如何... 脚本详情！德普之星辅助工具如何设置，德普之星辅助工具如何打开（透视）总是真的是有脚本（哔哩哔哩）脚本...
透视推荐！wpk官网下载链接，... 透视推荐！wpk官网下载链接，wpk透视辅助（透视）都是是真的教程（哔哩哔哩）1、超多福利：超高返利...
脚本详情！wpk辅助器，wpk... 脚本详情！wpk辅助器，wpk德州局怎么透视（透视）好像是真的软件（哔哩哔哩）1、德州局怎么透视破解...
透视分享！wejoker透视方... 透视分享！wejoker透视方法，wepoker黑侠辅助器（透视）都是真的有脚本（哔哩哔哩）1、用户...