本文提出一种数据无关的知识融合方法，通过在参数空间内合并模型并引导最小化预测差异的权重，将建立在不同训练数据集上的个别模型合并为一个模型，以在所有数据集领域都表现良好并可以推广到域外数据。 在评估设置的一系列电池上，我们发现该方法明显优于 Fisher 加权平均或模型集成等基线，并且我们发现我们的方法是一种有前途的替代多任务学习的方法，可以在不访问训练数据的情况下保留或有时提高个别模型的性能。最后，模型合并比训练多任务模型更高效，因此适用于更广泛的情况。

Dec, 2022

利用模型合并进行权重交叉，利用微调进行权重突变，EvoMerge 引入了一种系统性的大语言模型训练和合并方法，旨在推动模型超越传统微调的限制。

Jan, 2024

通过知识融合的方法，将预先训练的大型语言模型相互结合，以提升目标模型的性能表现，实现在推理、常识与代码生成等多种能力上的改进。

Jan, 2024

提出了 EvoKD：演化知識蒸餾方法，利用主動學習的概念提升大型語言模型的數據生成過程，同時改善小型領域模型的任務能力。實驗和分析表明 EvoKD 在不同的自然語言處理任務，如文本分類和命名實體識別方面具有有效性。

Mar, 2024

最新研究表明，在两个专门的语言模型的权重之间进行插值可以以多任务学习无法实现的方式在任务之间转移知识。然而，极少有人探索过在两个以上模型之间进行插值，每个模型具有不同的知识库。本文介绍了一种称为 DFWE（Derivative Free Weight-space Ensembling）的新的基于少样本的任务迁移方法，用于开放领域对话。我们的框架使用预定义的源任务集创建了一组多样的专家语言模型。然后，我们在目标任务上对每个专家模型进行微调，从多个不同的知识库中处理目标任务。最后，我们使用无梯度优化算法在模型权重之间进行线性插值，以有效地找到一个好的插值权重。我们在 FETA-Friends 上展示了该方法的有效性，其优于标准的预训练 - 微调方法。

Jul, 2023

提出了一种基于知识进化的训练方法，它通过将深度网络分成适配假设和重置假设来迭代进化知识，能够在相对较小的数据集上提高性能、学习较瘦的网络并减少推理成本，达到 21% 的绝对性能提升和 73% 的相对推理成本降低。

Mar, 2021

提出了一种称为 WEAVER 的简单且高效的后处理方法，该方法将旧知识融入新模型中，从而减少灾难性遗忘，并且在序列方式下，应用 WEAVER 导致与一次性对所有数据进行联合训练相似的单词嵌入分布，同时具有更高的计算效率。

Feb, 2022

为了解决语言模型在知识不断演进的情况下需要获取新知识并更新旧知识的问题，我们引入了一个新颖的基准测试，EvolvingQA，它用于训练和评估语言模型在一个不断演进的维基百科数据库上的能力，通过引入问题回答作为下游任务模拟了真实世界应用。通过研究发现，现有的持续学习基准在更新和遗忘过时知识方面存在困难，主要是由于小的权重梯度导致模型无法学习到更新的知识。此外，我们发现模型在提供数值或时间答案以及问及更新知识的问题上遇到了较大困难。我们的工作旨在对真实世界信息的动态性进行建模，并为语言模型的演进适应能力提供了一个强有力的度量。

Nov, 2023

本文提出了一种基于创新的进化算法的自动问答框架，适用于多个数据集，并能自动调整网络架构，从而找到最佳解。在 SQuAD 1.1 和 SQuAD 2.0 数据集上，我们的框架实现了 78.9 EM 和 86.1 F1 以及 69.9 EM 和 72.5 F1 的效果，在 NewsQA 数据集上，实现了 47.0 EM 和 62.9 F1 的效果。

Jan, 2022

通过词汇对齐方法，将不同的语言模型通过集成的方式进行整合，并在生成过程中动态修正和增强输出，以提高集成模型的效果和性能。

Apr, 2024