本文提出了 MergeDistill 框架，通过知识蒸馏的方式合并预先训练的多语言模型，旨在快速训练出性能与甚至优于数量级更大的模型，同时强调教师模型的选择对学生模型性能的影响。

Jun, 2021

本文研究如何有效地将任何现有的预训练大型语言模型适应到新的语言中，避免灾难性遗忘和标记器效率低下的问题，并通过添加目标语言的新标记和研究数据混合配方提高标记器的编码效率。实验证明，我们的配方在将英语预训练大型语言模型适应到匈牙利语和泰语方面，能够达到比开源模型更好的性能，同时对英语的回归影响很小。

Nov, 2023

通过模型合并的方法（LM-Cocktail），将预训练语言模型与微调的模型通过加权平均的方式融合，以使得微调模型在一般任务中能够保持强大的实际性能，同时在特定领域具有优越的能力。

Nov, 2023

通过参数高效微调能够提高大语言模型的性能，而无需大量的资源和计算。对多语言评估的先前研究表明，英语和其他语言在性能上存在很大差距。此外，开源模型和较大规模的语言模型之间也存在差距。微调是弥合差距、使语言模型更加公平的有效方法。本研究通过对合成多语言指示微调数据上进行 LLaMA-7B 和 Mistral-7B 模型的微调，以评估其对模型在涵盖 23 种语言的五个下游任务上的性能影响。此外，我们还在低秩适应的等级和量化值上进行了实验，以确定它们对下游性能的影响并发现较高的等级和量化值有益于低资源语言。我们发现通过参数高效微调较小的开源模型有时可以弥合这些模型和较大模型性能之间的差距，但对英语性能有所降低。我们还发现微调有时可以提高低资源语言的性能，但在高资源语言上性能可能会下降。

Jan, 2024

介绍了一种通过黑盒多目标优化算法进行大型语言模型合并的新方法，通过自动化配置搜索的过程，使用多个多样化任务的性能估计作为优化目标，以消除不同源模型之间的参数冲突，同时不丢失重要的增量参数，提供了模型合并技术的重要进展，为将多个模型集成为统一的高性能模型提供了强大而易于使用的解决方案。

Jun, 2024

该研究解决了合并大型语言模型（LLMs）时，微调（FT）和预训练（PT）模型之间参数变化范围不同带来的挑战。论文提出了一种基于权重解耦（WIDEN）的方法，有效扩展了合并技术的适用范围，实验结果显示，WIDEN能够成功将多语种能力注入指令跟随能力模型，并提高其在东南亚语言中的表现。

Aug, 2024

本研究针对机器学习领域模型合并技术的系统审视，填补了现有文献的空白。提出了一种新的分类方法，全面讨论现有的模型合并方法，并探讨其在大规模语言模型、多模态大规模语言模型及多个机器学习子领域中的应用。研究的主要发现是模型合并仍面临挑战，并提供了未来研究方向的建议。

Aug, 2024

本研究针对文献中缺乏系统性综述模型合并技术的问题，提出了一种新的分类方法，以全面探讨现有的模型合并方法。此外，研究还讨论了模型合并技术在大规模语言模型和多模态大规模语言模型等多个机器学习子领域的应用。研究的重要发现是提出的模型合并方法可以为未来的研究方向奠定基础，具有广泛的应用潜力。

Aug, 2024

本研究针对当前文献中缺乏系统的模型合并方法综述这一问题，提出了一种新的分类方法来全面讨论现有的模型合并技术。研究结果指出，模型合并在大型语言模型和多模态语言模型等多个领域中具有广泛的应用潜力，同时也面临若干挑战，亟需未来研究探索。

Aug, 2024

本文探讨了将大型语言模型（LLMs）适应低资源翻译所需的条件，重点分析了平行数据的重要性和监督微调中的多样性对性能的影响。研究发现，平行数据在预训练和微调过程中对低资源LLM-MT至关重要，而多样性往往导致干扰而非迁移。这些发现具有普遍性，对提升低资源语言的多语种LLM-MT模型具有重要价值。

Aug, 2024