- 贝叶斯与 PAC-Bayesian 深度神经网络集成
贝叶斯神经网络通过学习模型参数的后验分布来解决认知不确定性问题。使用该后验进行抽样和加权网络，从而形成一个被称为贝叶斯集合的集合模型。相对于个别网络，深度集合可以受益于误差抵消效应，提高预测性能。本文论证了贝叶斯集合的抽样和加权方法并不适合 - 可扩展的贝叶斯学习与后验概率
通过引入易于扩展的 PyTorch 库 posteriors，我们在理论上具有吸引力的贝叶斯学习与现代机器学习模型的计算挑战得以克服，从而使得贝叶斯学习在大规模数据和参数范围下变得可访问且可扩展；通过在 posteriors 实现中引入一种 - 不确定性评估的模型平均信任包装器在异常检测中的应用
本文提出了一种创新方法，称为 “信任套件”，用于模型平均的贝叶斯神经网络（BNN）和深度集成的置信区间表示，能够提高分类任务中的不确定性估计。
- 层次光变换器集成用于多模态轨迹预测
我们提出了一种名为 HLT-Ens 的新方法，利用一种新的分层损失函数，通过组合的全连接层来捕捉多模态分布，有效地训练 Transformer 架构的集合，在轨迹预测技术上取得了最先进的性能水平，为改进轨迹预测技术提供了有希望的途径。
- 多样性感知的无偏锐度最小化集成方法
我们的工作调查了集成学习和损失尖锐度最小化相结合是否能增加泛化能力，并提出了 DASH 算法，该算法在深度集成中促进多样性和扁平性，理论和实证证据表明集成的可泛化性得到了改进。
- 深度集合方法用于 6D 物体姿态估计的不确定性量化
提出一种用于深度集成的多阶段 6D 物体姿势估计方法的不确定性量化方法，使用 SurfEmb 进行实现，并提出一种用于回归任务的新型不确定性校准分数评估估计的质量。
- 密度回归：高效且距离感知的深度回归器用于分布偏移下的不确定性估计
通过在测试时间中进行多次前向传递使用不同模型的现代深度集成技术，在不确定性估计方面取得了强大的性能，但代价是高存储空间和较慢的速度。为了解决这个问题，我们提出了一种名为 Density-Regression 的方法，它利用密度函数在不确定性 - 深度集成中的紧密等变性
我们证明深度集成模型是等变的，通过使用数据增强，可以使深度集成模型在所有输入和训练时间上表现出等变性。关键是等变性在远离流形区域和无限宽度条件下的任何架构都成立。我们利用神经切向核理论推导出这一结果，并使用详细的数值实验验证了我们的理论见解 - 单一盆地有多好？
通过引入聚合技术和蒸馏方法，我们在同一领域内重新发现了多盆地深度聚合模型，从而证明了多模式神经损失景观对于深度聚合模型的经验成功起到重要推动作用，虽然连接性增加会负面影响性能。
- 包装集合代理模型用于空气动力翼型外流估计
研究项目比较了几个模型的性能，并找到了在这个特定任务中以 25% 的加速训练时间击败其 Deep Ensemble 对手的 PE (8,4,1) 模型。
- 深度集合遇见分位回归：面向时间序列的不确定性感知填充
我们提出了一种非生成时间序列插补方法，该方法通过深度集成与分位数回归相结合，在计算上更高效，并能够准确插补时间序列数据并估计不确定性。
- 评估科学应用中神经 PDE 的不确定量化方法
神经偏微分方程（Neural PDEs）被证明能够有效重构流系统并预测相关的未知参数。然而，基于贝叶斯方法的神经偏微分方程显示出更高的预测确定性，相较于使用 Deep Ensembles 方法得到的结果，可能低估了真实潜在的不确定性。
- 给予非标记数据的几乎免费提升：改进深度集成校准
在小训练数据情况下，通过使用未标记数据来改进深度集成模型的校准方法，该方法通过为每个未标记数据点与每个集成成员的不同随机选择的标签进行拟合，理论分析证明该方法在测试样本上能够获得低负对数似然和高集成的多样性。经过详细实验证明，在训练集规模较 - 您可以拥有您的集成并运行它 -- 深度集成随时间传播
这篇论文介绍了一种名为 Deep Ensembles Spread Over Time (DESOT) 的方法，该方法将深度集成模型应用于序列数据，通过对数据点的序列进行预测融合来实现预测和不确定性估计的性能优势，在无需额外计算成本的情况下 - 对抗模型下不确定性的量化
利用对抗模型量化不确定性提高估计认知不确定性的准确性，相较于现有方法，Quantification of Uncertainty with Adversarial Models 能够更好地捕捉深度学习模型中的认知不确定性。
- 神经网络集成的输入梯度多样性
本文提出了一种基于粒子变分推断方法的第一阶斥力深度集成方法 FoRDE，通过在输入梯度空间中进行推力，保证算法具有功能差异性，并且能够提高算法的准确性和鲁棒性，实验证明其效果优于其他集成方法和深度集成。
- 利用深层集成技术在感应不确定性下进行行人轨迹预测
提出了一种能够同时考虑感知不确定性和预测不确定性的端到端估计器 —— 基于编解码器的深度合奏网络，比较了该模型与其他近似贝叶斯推断方法。实验表明，该方法可以更准确地进行鲁棒的未来状态预测。
- 深度集成多样化：一种基于显著性图的增强 OOD 检测、校准和精度的方法
本文提出了一种基于显著性地图的深度集成方法，通过增加集合成员之间的差异性来改进分类和 OOD 检测。在多项实验中，该方法优于传统集成技术，同时提高了校准性，在 OpenOOD 基准测试中显示出潜在的实际应用前景。
- ICLR深度集成提高气候变化条件下统计降尺度模型的不确定性量化能力
研究了深度学习在气候下缩放和预测中的应用，并提出使用深度集合作为一种简单的方法，以提高气候变化预测模型的不确定性量化能力，以解决严重天气事件对社会和经济产生的负面影响。
- 基于视窗的早期退出级联用于不确定性估计：当深度集成优于单一模型
本文研究了将 Deep Ensembles 方法扩展到与不确定性评估相关的任务，提出了一种在接近二元决策边界的窗口内传递样本以实现早期退出的新方法，并发现级联 / 集成模型在 OOD 数据上比模型扩展更可靠。