拒斥深度集成是贝叶斯的

Jun, 2021

Repulsive Deep Ensembles are Bayesian

Francesco D'Angelo, Vincent Fortuin

TL;DR通过向深度集成的更新规则引入一个内核化的排斥项，我们提出了一个简单的修饰方法来执行和维护成员之间的多样性，并将 MAP 推断转换为正确的贝叶斯推断，这一变化不仅提高了预测的质量，而且大大增强了其对 ODD 的性能。

Abstract

deep ensembles have recently gained popularity in the deep learning community for their conceptual simplicity and efficiency. However, maintaining functional diversity between ensemble members that are independently trained with gradient descent is challenging. This can lead to patholo

deep ensembles functional diversity ensemble performance uncertainty estimates repulsive ensembles

发现论文，激发创造

深度集成：一种损失景观的视角

通过研究深度神经网络的损失函数平面的同构性，我们证明了深度集合优于贝叶斯神经网络在提高准确度和对数据集变化的鲁棒性方面，并发现随机初始化的权重可以探索不同的函数空间而产生更多样的结果。

Dec, 2019

神经网络集成的输入梯度多样性

本文提出了一种基于粒子变分推断方法的第一阶斥力深度集成方法 FoRDE，通过在输入梯度空间中进行推力，保证算法具有功能差异性，并且能够提高算法的准确性和鲁棒性，实验证明其效果优于其他集成方法和深度集成。

Jun, 2023

从集成学习中学习时，多样性非常重要

通过对集成方法进行扰动，可以增加模型多样性并提升性能。

Oct, 2021

深度集成和（变分）贝叶斯方法之间的严密联系

本文建立了贝叶斯、变分贝叶斯和集成学习方法之间的第一个数学严谨联系，并将深度学习中常遇到的非凸优化问题重新表述为概率测度空间中的凸优化。我们通过 Wasserstein 梯度流的广义变分推理研究统一理论，这提供了各种看似不相关的方法（包括深度集成和（变分）贝叶斯方法）的不确定性量化，为深度集成算法的成功提供了一种全新视角，并且允许导出具有收敛保证的新集成方案。我们提出了一类具有与热力学中粒子系统相似交互的深度集成系统，并利用我们的理论证明了这些算法会收敛到概率测度空间中的一个明确定义的全局极小值。

May, 2023

模型合成中的多样性诱导信息瓶颈

本文提出了基于多样性损失函数的神经网络集成方法，以适应多模态数据的建模，并证明了其在数据分布变化和识别未知数据方面的显著性能提升。

Mar, 2020

增强用集成方法的基于分数抽样方法

利用基于分数的采样方法引入集合模型，从而通过利用粒子集合的集体动力学来计算近似反扩散漂移，解决了在概率分布复杂、梯度不可用的情况下建模的问题。

Jan, 2024

关于斯坦变分神经网络集成

本研究研究了使用不同的 Stein 变分梯度下降方法来解决深度神经网络的 Bayesian 框架的问题，通过改善功能多样性和不确定性估计，逼近真实的 Bayesian 后验，并展示使用随机 SVGD 更新可以进一步改善性能。

Jun, 2021

多样性投影集合的分布式强化学习

本研究探讨了如何通过集合及多样性实现可靠的不确定性估计和深度探索，即通过几个不同的分布投影和表现形式的集合所组成的 “分布整体学习”（distributional ensemble）来实现优秀的性能。

Jun, 2023

神经切向核下的贝叶斯深度集成

我们通过神经切向核（NTK）探索深度集合和高斯过程（GPs）之间的联系，引入对标准深度集合训练的简单修改，其中包括对每个群集成员的可计算、随机且不可训练的函数的添加，以在无限宽度下启用后验解释，用于回归和分类任务中，证明了我们的贝叶斯深度集成在无限宽度限制下进行更保守的预测，可在不同的寻常数据的情况下胜过标准的深度集成。

Jul, 2020

从贝叶斯角度看深度合奏

深度集成是一种用于深度学习中不确定性量化的最新技术，本研究通过指定相关假设，证明了其可视为近似贝叶斯方法，该发现有助于改进估计并增大认识不确定性，数值实验表明这种改进有助于提高鲁棒性，同时可以通过分析导出方便计算的结果。

May, 2021