weights averaging | BriefGPT

关键词weights averaging

搜索结果 - 1

融合 Fine-tuned 模型以改善预训练
通过融合多个经过微调的模型，平均模型参数来达到更好的基础模型的目的，并且发现融合模型效果常常优于预训练模型，同时融合比互训模型更鲁棒且不受目标任务依赖。
PDF2 years ago