MMJan, 2024

EvoMerge: 大规模语言模型的神经进化

TL;DR利用模型合并进行权重交叉,利用微调进行权重突变,EvoMerge 引入了一种系统性的大语言模型训练和合并方法,旨在推动模型超越传统微调的限制。