- 2023 全球人工智能技术创新竞赛第一赛道冠军解决方案
本研究通过在预训练和微调阶段采用不同的策略，结合知识库和相似提示来构建诊断报告，取得了在全球人工智能技术创新大赛医学影像诊断报告生成赛道中的第一名成绩。
- 深度神经网络的非对称谷探索与利用
探索深度神经网络（DNNs）的损失景观可以揭示其内在原理。我们的研究系统地探索了影响 DNNs 山谷对称性的因素，包括数据集、网络架构、初始化、超参数以及噪声的大小和方向。我们的主要观察表明，噪声与收敛点之间的符号一致性是山谷对称性的关键指 - 低光条件下的物体检测
基于 CO-DETR 模型，通过模型融合方法实现了接近真实图像物体检测结果。使用多种增强技术生成多组预测结果，最后通过 IoU 阈值引导的聚类聚合方法选择最佳结果。
- ICLR通过最优输运实现元剪枝
该论文介绍了一种名为 Intra-Fusion 的新方法，通过使用模型融合和最优传输的概念，重新定义了神经网络修剪的程序，实现了更有效的稀疏模型表示，并在不需要资源密集型微调的情况下显著提高了准确性恢复，从而成为神经网络压缩的一种高效且有前 - 通过置换子空间进行训练时神经元对齐以提高线性模式连接性和模型融合
通过在训练时进行神经元对齐，以及使用剪枝和部分梯度掩码算法，研究了深度学习中解决线性模式连接层面上的障碍的方法，这在模型融合算法中具有重要的应用。
- 通过卷积神经网络和视觉变换器的模型级集成来提高肺炎检测的新方法
通过模型融合的方式，将卷积神经网络和视觉 Transformer 网络结合起来，以提高基于胸部 X 射线图像的肺炎诊断的准确性。融合模型在 Kaggle 小儿肺炎数据集上取得了 94.87% 的准确率，比基准模型表现更好。
- 通过网络分割和合并与梦幻元加权模型融合的持续学习
我们提出了一种名为 Split2MetaFusion 的连续学习方法，通过采用两阶段策略（分割和元权重融合），同时实现了网络稳定性和可塑性的更好权衡。在实验结果和分析中，证明了该方法在保持网络稳定性和可塑性方面的优越性。
- 融合遗忘：通过模型融合实现偏见降低和选择性记忆
模型融合研究的目标是通过结合模型的权重来聚集多个模型的知识以增强性能。本文通过多个实验，针对文本分类和生成任务，深入研究了模型融合对学习过程中的快捷方式、社会偏见和记忆能力的影响，并发现模型融合通常会增强模型之间的共享知识，而未共享的知识通 - 分布式联邦图匹配的差分隐私预训练模型融合
通过介绍 PrivFusion，一种基于图结构的隐私保护模型融合架构，本文在维护模型性能的同时确保模型隐私，解决了模型融合中的隐私保护问题，并采用混合本地差分隐私机制和分散式联合图匹配来提高模型隐私性，在随机化噪声的影响下保留融合模型的实用 - FedDRL：一个基于阶段强化学习的可信联邦学习模型融合方法
我们提出 FedDRL, 一种基于强化学习的两阶段模型融合方法，通过筛选恶意模型和选择可信的客户模型参与模型融合，并自适应调整可信客户模型的权重，实现最优全局模型的聚合，与两个基准算法相比，在五个模型融合场景中，我们的算法具有更高的可靠性， - 融合异构神经网络中的神经干扰调查
使用 Federated Learning 将分别训练在不同客户端上的深度学习模型融合成全局模型时，出现了异质性本地模型中的神经元干扰，我们提出了一个名为 AMS 的实验算法，它比一般的模型融合方法和集成方法更加具有数据异质性的鲁棒性，并探 - 自监督学习模型融合用于 MOS 预测
通过自学习和半监督学习等多种策略，提出了一个融合框架，其中七个预训练的自监督学习（SSL）模型参与了对合成语音 MOS 预测的精度的改进，特别是在 OOD sub-track 上获得了较大的提升。
- 融合 Fine-tuned 模型以改善预训练
通过融合多个经过微调的模型，平均模型参数来达到更好的基础模型的目的，并且发现融合模型效果常常优于预训练模型，同时融合比互训模型更鲁棒且不受目标任务依赖。
- KDD异构联邦学习
本文提出了一种新颖的联邦学习框架，通过设计特征定向调节方法 (ψ-Net) 来确保显式特征信息在不同的神经网络结构中的分配，并应用于协作模型中，在通常分散和混乱的信息环境下，通过协定的时序，信息的有序分配及结构匹配，提高了联邦学习的适用性， - 基于两阶段分类和数据增强的设备鲁棒性声场分类
实现了一个使用 CNN、数据增强、量化和模型融合的音频场景分类系统，可以将多个设备录制的音频信号精细分类为 10 个细粒度类别和 3 个高层级类别，并在不增加复杂度的情况下获得高准确率
- 最优传输中的模型融合
该研究提出了一种基于神经网络的逐层模型融合算法，使用最优传输方法将多个模型中的神经元对齐，并将其相关参数平均化，以实现 “一次性” 知识转移，从而有效地提高了模型的性能和压缩率。
- ECCV视频分类的非本地化 NetVLAD 编码
本文介绍了我们在 Google AI 组织的第二届 YouTube-8M 视频理解挑战中的解决方案，该方案利用非本地操作实现了多个子模型的融合来有效地执行视频分类任务。
- 分层神经故事生成
该研究探讨了故事生成：创作系统可以在一个主题上构建连贯流畅的文本段落，使用一个大规模的数据集，通过分层式故事生成模型，研究人员成功地实现了模型融合，引入了新的门控多尺度自注意机制，并在自动化和人工评估中实现了显著的改进。
- 评估两流 CNN 用于视频分类
该论文以深度学习为基础，通过研究网络架构、模型融合、学习参数和最终预测方法等等选项对视频分类进行了深入研究，并在两个流行的视频分类基准测试中获得了竞争力极强的结果。