我们提出了一种基于预测分布的 Stacking 方法，利用 Pareto-smooth 重要性采样计算所需的单次观察后验分布和正则化以获得更好的稳定性，比较结果表明我们的方法在计算成本可接受的情况下优于其它方法。

Apr, 2017

提出了两种将贝叶斯模型组合起来的工具：log-linear pooling 和 quantum superposition，并通过 Hyvarinen 分数对模型权重进行优化，以解决计算正常化常数的负担。

May, 2023

通过路径加权，基于后验概率的概率编程中的预测能够得到更加鲁棒且优越的结果。

Oct, 2023

贝叶斯神经网络通过学习模型参数的后验分布来解决认知不确定性问题。使用该后验进行抽样和加权网络，从而形成一个被称为贝叶斯集合的集合模型。相对于个别网络，深度集合可以受益于误差抵消效应，提高预测性能。本文论证了贝叶斯集合的抽样和加权方法并不适合增加泛化性能，因为它们无法实现误差抵消效应。相反，通过优化 PAC-Bayesian 泛化约束得到模型的加权平均值可以提高泛化性能。这种加权方法需要考虑模型之间的相关性，可以通过最小化串级损失来实现。PAC-Bayesian 加权方法增强了对相关模型和性能较低模型的稳健性，因此我们可以安全地添加来自同一学习过程的多个模型到集合中，而不是使用早停法选择单一的权重配置。本研究在四个不同的分类数据集上给出了实证结果，表明尽管计算代价较高，但来自文献中的最先进的贝叶斯集合并没有改进普通权重的深度集合，并且无法与通过优化串级损失的深度集合相匹配，后者还具有非空泛化保证。

Jun, 2024

本文研究了加权模型平均对任意标量均值估计问题的影响，发现加权平均模型可以减少局部模型的期望平方误差，并量化了加权模型平均的（可能为负的）益处。这项研究正式确定了一种量化协作学习个性化价值的方法，并为未来多元参数估计和基于一系列假设的检验研究提供了框架。

Oct, 2021

本文提出两种方差降低方法对分布式、隐私保护学习中使用的基于自助法的方法进行改善，包括权重 M - 估计器等。进行了理论和实证分析以证明我们的方法。

Jul, 2016

WASH 是一种新的分布式方法，用于训练模型集合以进行权重平均化，实现了最先进的图像分类准确性。

May, 2024

使用可证明的渐近保证，我们提出了一种通用的堆叠方法，能够结合多个后验近似，融合密度、模拟抽样、置信区间和矩，同时解决整体精度、校准、覆盖率和偏差的问题。我们通过几个基准模拟和具有挑战性的宇宙学推断任务来说明我们的方法。

Oct, 2023

通过平均训练以不同超参数配置微调的模型，提高现有模型的性能和鲁棒性，从而在多个图像分类和自然语言处理任务中达到新的最先进技术水平。

Mar, 2022

本研究提出了 Fisher 合并方法用于模型合并，与标准梯度传递学习方法相比，Fisher 合并可以在中间任务训练和领域自适配预训练方面提供一种基本不同的能力转移方法，同时成本更低，并且同时能够实现以前未曾探索的模型组合方式。

Nov, 2021