通过专家混合（MoE）模型融合的实用且可扩展的方法，本研究旨在有效学习大型神经网络的 Pareto 集，从而捕捉多个目标之间的权衡关系和大致近似整个 Pareto 集，并在低内存使用量的情况下提供可扩展性。
Jun, 2024
本文介绍了一种创新技术称为自适应模型融合（AdaMerging），该方法通过无监督任务算术方案自动学习模型融合的系数，既可以在任务层面上，也可以在层级层面上，而无需依赖原始训练数据。实验结果表明，与当前最先进的任务算术融合方案相比，AdaMerging 在性能上有显著的 11% 改进，并且在应用于未见过的下游任务时表现出更好的泛化能力，同时还显著提高了对数据分布漂移的鲁棒性。
Oct, 2023
该研究工作将双重分解泛化为通用幂和推理任务，包括边缘 MAP 推理、纯边缘化和 MAP 任务，并基于一个新的凸分解界限上的块坐标下降算法，证明其比之前的方法更快、更可靠。
Nov, 2015
本文研究了贝叶斯网络中最可信赖实例化的计算问题，证明在多种情形下该问题为 NP 完全问题，在多叉树限制下也难以有效近似，采用置信传播的局部搜索方法可提供较准确的估计。
Dec, 2012
提出了一种新的、高效的方法，可以生成局部连续的 Pareto 集和 Pareto fronts，并将其应用于现代机器学习问题中。通过提出基于样本的稀疏线性系统，将多目标优化的理论结果扩展到现代机器学习问题中，并实现了局部 Pareto 集的分析。与现有算法相比，通过在各种多任务分类和回归问题上的应用，证明了我们的算法在平衡权衡、有效地找到更多的不同权衡解以及迎合百万级参数任务的能力。
Jun, 2020
介绍了一种通过黑盒多目标优化算法进行大型语言模型合并的新方法，通过自动化配置搜索的过程，使用多个多样化任务的性能估计作为优化目标，以消除不同源模型之间的参数冲突，同时不丢失重要的增量参数，提供了模型合并技术的重要进展，为将多个模型集成为统一的高性能模型提供了强大而易于使用的解决方案。
本研究提出一种直接在特征空间中根据偏好条件来调整神经网络的多目标优化方法，通过对解决方案进行惩罚来维持小角度到偏好向量的方法确保了良好分布的 Pareto 曲线，实验证明我们的 Pareto 前缘尽管计算速度显著更快，但也达到了业内最先进的质量，并展示了其可扩展性。
Mar, 2021
本文提出了一种网络合并方法 Pruning-Aware Merging (PAM)，在考虑未来网络剪枝的情形下，合并神经网络以达到最小计算成本，实验结果表明与现有方法相比，PAM 可以获得高达 4.87 倍减少计算成本的效果。
May, 2019
本文提出一种基于 Lagrangean 松弛及 Frank-Wolfe 方法的多平面块协调策略用于在结构化能量最小化问题中求解最大后验概率（MAP）推断，并在 Markov 随机场、多标签离散层析成像和图匹配问题中的实验表明了方法优越性。
Jun, 2018
该研究探讨使用最大后验估计推理方法来解决图像超分辨率问题，并介绍了基于神经网络的自动编码器估计的解决方案，其中使用了 3 种方法以优化 GAN 的效果。
Oct, 2016