深度模型融合是一种新兴技术，它以经济高效的方式将多个深度神经网络的预测或参数统一到一个模型中，从而优于原模型的性能。为了解决评估这些融合技术有效性和稳健性的问题，我们介绍了 FusionBench 作为第一个全面专门面向深度模型融合的基准测试。FusionBench 覆盖了各种任务，并在不同任务、模型规模和微调策略下提供了公平且全面的比较。同时，我们还提供了资源和指南，以帮助研究人员理解和复现基准测试结果。

Jun, 2024

本文综述多模型数据分析的现有状况和未来方向，着重介绍了基于深度神经网络的多特征融合方法，这些方法的关键组成部分是协作，对抗训练和特征融合。

Jun, 2020

多模医学成像在临床诊断和研究中起着关键作用，深度学习多模态融合技术在提高医学图像分类方面显示出强大的工具。本综述对基于深度学习的医学分类任务中的多模态融合的发展进行了彻底分析，包括不同融合方案和网络架构的性能评估，讨论了相关挑战和未来研究方向。

Apr, 2024

本文提出一种数据无关的知识融合方法，通过在参数空间内合并模型并引导最小化预测差异的权重，将建立在不同训练数据集上的个别模型合并为一个模型，以在所有数据集领域都表现良好并可以推广到域外数据。 在评估设置的一系列电池上，我们发现该方法明显优于 Fisher 加权平均或模型集成等基线，并且我们发现我们的方法是一种有前途的替代多任务学习的方法，可以在不访问训练数据的情况下保留或有时提高个别模型的性能。最后，模型合并比训练多任务模型更高效，因此适用于更广泛的情况。

Dec, 2022

本文综述了最新的深度集成学习模型的分类和应用，并指出了未来研究的方向。

Apr, 2021

该研究提出了一种基于神经网络的逐层模型融合算法，使用最优传输方法将多个模型中的神经元对齐，并将其相关参数平均化，以实现 “一次性” 知识转移，从而有效地提高了模型的性能和压缩率。

Oct, 2019

本研究旨在回顾地球观测的多视角融合模型的文献，并整合总结相关术语和方法，其中涉及了利用神经网络模型的有监督学习。通过该研究，希望此文献能够促进未来研究并推动该领域的统一进步。

Dec, 2022

本论文探讨了如何将不同模态的 transformer 模型融合成参数有效的多模态结构，通过综合实验分析了融合的关键因素，提出了一个有效的训练方法。

Apr, 2023

通过多模态神经后验估计（MultiNPE）方法，我们整合来自不同来源的异构数据，利用神经网络进行基于模拟的推断。通过受到注意力机制深度融合学习的启发，研究人员能够分析来自不同领域的数据，通过增加精确性来推断复杂数学模型的参数。我们为 MultiNPE 提出了不同的多模态融合方法（早期、晚期和混合），并在三个具有挑战性的数值实验中评估其性能。MultiNPE 不仅在基准模型上优于基准方法，而且在神经科学和心脏病学的代表性科学模型中实现了更好的推断。此外，我们还系统地研究了部分数据缺失对不同融合策略的影响。在不同的实验中，晚期和混合融合技术成为多模态基于模拟的推断的实际应用的首选方法。

Nov, 2023

模型融合研究的目标是通过结合模型的权重来聚集多个模型的知识以增强性能。本文通过多个实验，针对文本分类和生成任务，深入研究了模型融合对学习过程中的快捷方式、社会偏见和记忆能力的影响，并发现模型融合通常会增强模型之间的共享知识，而未共享的知识通常会丢失或遗忘。基于这一观察，我们展示了模型融合作为一种去偏方法的潜力，并展示了它在解决与语言模型相关的隐私问题方面的效力。

Nov, 2023