以下是一些关于在大语言模型(LLM)中进行自动化超参数搜索的论文,特别是调节学习率(lr)和全局批量大小(gbs)等参数:
"Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm"
"Hyper-Tune: Towards Efficient Hyper-parameter Tuning at Scale"
上一篇:使用visual studio code远程连接虚拟机
下一篇:分布式数据库原理CAP