本文介绍了一种深度融合的神经网络，能够学习多尺度表现并由浅层网络和深层网络联合学习，提出的网络相比ResNet和Highway等方法具有更好的性能表现。

May, 2016

这篇论文提出了一种新的卷积神经网络结构，通过添加低成本协作层加速了推理过程，实验结果表明，平均加速率为32％，性能下降极小。

Mar, 2017

该研究提出了两种方法可以将具有不同知识的神经网络的信息合并，一个是通过加权和的简单操作，另一个是通过修改权重来转移知识;这些方法被应用于分类等任务，并证明其效率。

Sep, 2018

本研究使用预先训练的网络作为示范，旨在学习一种能够整合各种异构结构教师的多才多艺、轻量级的学生模型，而无需获取任何人工注释信息。为此，提出了一种通用的特征学习方案，所有教师的特征都被转换成共同的空间，并且要求学生模型模仿他们的所有特征，以使完整的知识得以融合，并在一系列基准测试中证明所提出的方法的良好性能。

Jun, 2019

本文提出了“ZipIt！”方法，通过特征合并和部分合并层实现两个架构相同的模型的合并，使得合并不同领域训练的模型变得更为可行。

May, 2023

深度模型融合是将多个深度学习模型的参数或预测合并为一个模型的新兴技术，以提高性能。研究对大规模深度学习模型的融合存在高计算成本、高维参数空间和不同异构模型之间的干扰等挑战。鉴于对该技术缺乏完整详细的调查研究，我们呈现了一份综合调查报告以总结最近的进展，并提出了未来模型融合的研究方向。该综述有助于深入了解不同模型融合方法与实际应用方法之间的关联，从而启发研究深度模型融合领域。

Sep, 2023

该研究旨在将训练在不同任务或领域的多个Vision Transformers (ViTs)合并成一个统一的模型，以保持每个任务或领域的良好性能，通过提出一种简单而有效的门控网络和模型权重相似性度量方法实现整体ViT模型的合并和性能提升。

Dec, 2023

本研究解决了卷积神经网络（CNN）在推理过程中计算成本过高的问题。我们提出了一种名为“早期退出卷积神经网络”（EENets）的方法，通过在特定位置提前停止推理，动态适应计算需求，从而提高了处理简单样本的效率。研究表明，EENets能够在保持与非早期退出网络相似的准确性的同时，将计算成本降低至原来的20%。

Sep, 2024

本研究解决了如何有效合并具有不同初始化和任务的大型变换器模型的问题，通过提出可折叠超网络合并（FS-Merge）方法，优化模型融合过程。FS-Merge 方法在多个设置、任务和模态下表现优异，特别是在数据有限的情况下，显著超越传统合并技术和知识蒸馏方法，展示出其强大的数据效率和适应性。

Oct, 2024

本研究解决了在边缘计算中受限于内存的深度神经网络（DNN）共享层的问题，现有方法需要昂贵的云端再训练并依赖真实标签。提出的通过表示相似性指导的模型合并方案，不仅可以在边缘设备上实现层共享，还有效指示了合并模型的准确性，且无需真实标签。研究结果表明，表示相似性与合并模型的准确性之间具有极高的相关性，展现出广阔的研究前景。

Oct, 2024