Dec, 2023

任务子空间中的模型匹配合并

PDF
TL;DR模型合并通过廉价地将个别任务特定模型合并成一个多任务模型。在本研究中，我们将过去的合并方法视为在合并之前利用不同概念的 “任务子空间” 进行模型匹配。我们将给定模型的任务子空间与其损失函数空间联系起来，并确立了模型合并方法可以看作是解线性方程组的形式化过程。我们探讨了使用共轭梯度方法寻找解决方案的可能性，并展示了共轭梯度方法可以超越解析解的性能，实现对其他难以求解线性系统的合并，并且可以灵活选择 “任务子空间” 的初始值和估计值。我们最终证明了我们的合并框架 “在任务子空间中匹配模型”（MaTS）在多任务和中间任务模型合并方面取得了最先进的结果。我们在此网址 https://URL 中发布了我们工作中使用的所有代码和检查点。
model mergingtask subspacelinear system of equationsconjugate gradient methodmats
发现论文，激发创造
  • 基于具体子空间学习的多任务模型融合中干扰消除

    提出了一种基于低维共享的 CONcrete 子空间学习方法来解决合并模型中的潜在冲突问题，并通过元学习框架以及梯度优化技术来找到 CONcrete 子空间掩码。通过在视觉和语言领域进行广泛实验，实验结果验证了方法的有效性。

    Dec, 2023

  • 多模态模型合并的实证研究

    本论文探讨了如何将不同模态的 transformer 模型融合成参数有效的多模态结构，通过综合实验分析了融合的关键因素，提出了一个有效的训练方法。

    Apr, 2023

  • 改进模型合并和压缩的任务信息定位

    我们提出了一种模型合并的算法，通过使用 TALL-masks 方法识别任务支持，在保留超过 99％的单任务准确性的同时，提高了现有模型合并方法的性能，并且我们的压缩方案将存储减少了 57Gb 到 8.2Gb，保留了 99.7％的原始性能。

    May, 2024

  • 无培训预训练模型融合

    通过双空间约束下的模型合并框架 (MuDSC) 提出了一种解决方法，利用排列矩阵在双空间中探索位于具有统一高相似度的区域，从而显著提高合并模型的性能。

    Mar, 2024

  • AdaMerging：多任务学习的自适应模型融合

    本文介绍了一种创新技术称为自适应模型融合（AdaMerging），该方法通过无监督任务算术方案自动学习模型融合的系数，既可以在任务层面上，也可以在层级层面上，而无需依赖原始训练数据。实验结果表明，与当前最先进的任务算术融合方案相比，AdaMerging 在性能上有显著的 11% 改进，并且在应用于未见过的下游任务时表现出更好的泛化能力，同时还显著提高了对数据分布漂移的鲁棒性。

    Oct, 2023

  • 多任务学习中的任务分组与重叠学习

    提出一种基于稀疏系数和低维子空间的多任务学习框架，能够选择性地在相关任务间共享信息，实验结果显示该方法优于竞争方法。

    Jun, 2012

  • 利用收敛行为平衡多任务学习中的矛盾任务

    采用多目标优化的方法，考虑梯度的时间行为，创建一个动态偏差，利用多任务学习的相关性来提高性能和泛化性能，并确保所有任务达到良好的泛化性能。

    Apr, 2022

  • PLeaS - 模型合并的排列和最小二乘

    提出了 PLeaS 算法，可以合并不同基础模型的机器学习系统，通过最大化对齐和最小化特征近似误差来生成所需大小的合并模型，并实现比最先进的合并方法更好的性能。

    Jul, 2024

  • 多目标优化：通过多个 LLM 的潜力释放形态时间

    介绍了一种通过黑盒多目标优化算法进行大型语言模型合并的新方法，通过自动化配置搜索的过程，使用多个多样化任务的性能估计作为优化目标，以消除不同源模型之间的参数冲突，同时不丢失重要的增量参数，提供了模型合并技术的重要进展，为将多个模型集成为统一的高性能模型提供了强大而易于使用的解决方案。

    Jun, 2024

  • 通过权重融合的专家组混合合并多任务模型

    将各种在不同任务上训练的基于 Transformer 的专用模型合并为一个统一的模型，可以同时执行所有任务，通过识别并分离共享知识和任务特定知识，并动态地集成它们，可以在很大程度上减轻参数干扰问题。

    Feb, 2024