该研究对联邦学习框架下聚合策略进行了全面的数学收敛分析，并通过与 FedAvg 进行分类任务的比较来评估其性能，得出了新的聚合算法，该算法可以通过区分客户端贡献的价值来修改其模型架构。

May, 2022

WASH 是一种新的分布式方法，用于训练模型集合以进行权重平均化，实现了最先进的图像分类准确性。

May, 2024

提出了一种新的集成方法，自适应特征聚合（AFA），它根据各种状态（即提示、初始噪声、去噪步骤和空间位置）动态调整多个模型在特征级别的贡献，从而保持多个扩散模型的优势，并抑制它们的缺点。

May, 2024

本文介绍了一种名为自适应联邦平均的新型算法，该算法利用隐藏马尔可夫模型来检测参与者在训练期间提供的模型更新质量，并提出一种鲁棒聚合规则以检测和丢弃每次训练迭代中的不良或恶意本地模型更新以及阻止不需要的参与者，从而在处理噪声、故障和恶意参与者时具有更高的鲁棒性和计算效率。

Sep, 2019

通过分析异质性模型，我们探究了不同培训集合的神经网络集成对子群体表现的影响。发现使用同质集成，即使所有单独模型使用相同的训练集，架构和设计选择，仍然可以获得令人信服和有力的最坏 k 值和少数群体的表现提升。我们的研究证明，简单的神经网络集成可以是减轻不同 DNN 分类器的不同影响的有效工具，从而遏制算法伤害。

Mar, 2023

该研究通过探究多种集成方法，包括超级学习器等，运用人工神经网络在图像识别任务中进行设计多个实验，并进一步研究了神经网络的过度自信现象及其对集成方法的影响，并在所有实验中发现超级学习器是表现最佳的集成方法。

Apr, 2017

通过将一个 ensemble 中的知识压缩成单个模型的方法，我们可以显著提高基于 MNIST 数据集的模型性能并将这种方法应用于商业系统的声学模型，同时我们还提出了一种由专家模型和完整模型组成的新型 ensemble。

Mar, 2015

介绍了一种称为框架平均的通用框架，用于使现有神经网络体系结构对新的对称性类型具有不变性或等变性。该框架建立在团体平均算子之上，并通过使用小的子集来取代整个团的平均算子，从而保证较低的计算成本。通过使用框架平均，提出了一类称为通用图神经网络（GNNs）的新模型，实现了几个应用程序（包括点云正常估计、超越 2-WL 图分离和 N 体动力学预测），并达到了所有这些基准测试的最高成绩。

Oct, 2021

本篇论文研究了如何将基于 Exponential-Smoothing-Recurrent Neural Network (ES-RNN) 的模型和 ensemble learning 技术相结合，相比于其他基于统计或机器学习的 ensemble 方法，Feature-based Forecast Model Averaging (FFORMA) 对于 late data fusion 的情况表现最好，而另一种 ensemble 方法 Stacking 被证明能够很好地处理所有基本模型性能相似的情况。与 N-BEATS 作为基准相比，实验结果表明，该方法在预测效果上超越了 N-BEATS 作为基准的方法。研究表明模型平均是比模型选择和堆叠策略更稳健的集成方法。此外，实验结果显示梯度提升在实现 ensemble learning 策略时是优越的。

Mar, 2022

提出一种多方计算协议，旨在处理在具有实际数据时出现的不一致性，同时保护医疗数据的隐私和安全，其中采用了神经网络的三种方法进行了分析和比较。

Mar, 2023