深高斯混合集合

Jun, 2023

Deep Gaussian Mixture Ensembles

Yousef El-Laham, Niccolò Dalmasso, Elizabeth Fons, Svitlana Vyetrenko

TL;DR本文介绍了一种新颖的概率深度学习技术 —— 深高斯混合集成（DGMEs），它能够准确量化认知不确定性和 Aleatoric 不确定性，通过假设数据生成过程遵循高斯混合的模型，DGMEs 能够逼近复杂的概率分布。实验结果表明，DGMEs 在处理复杂的预测密度方面比现有的不确定性量化深度学习模型表现更好。

Abstract

This work introduces a novel probabilistic deep learning technique called deep gaussian mixture ensembles (DGMEs), which enables accurate

probabilistic deep learning gaussian mixture ensembles uncertainty expectation-maximization

发现论文，激发创造

基于一种狄利克雷分布混合的改进证据深度学习

该论文通过混合狄利克雷分布的变分推断来建模一致的目标分布，并通过学习得到的元分布模型提取目标模型中的学到的不确定性。实验证明我们提出的方法在各种基于不确定性的后续任务中具有优越性，并展示了学到的认知不确定性的一致性和不一致性带来的实际影响。

Feb, 2024

从贝叶斯角度看深度合奏

深度集成是一种用于深度学习中不确定性量化的最新技术，本研究通过指定相关假设，证明了其可视为近似贝叶斯方法，该发现有助于改进估计并增大认识不确定性，数值实验表明这种改进有助于提高鲁棒性，同时可以通过分析导出方便计算的结果。

May, 2021

使用随机梯度哈密顿蒙特卡罗推断深高斯过程

本研究使用随机梯度哈密尔顿蒙特卡洛方法对深层高斯过程模型的非高斯后验分布抽样，提供了一种新的推断方法，成为 Deep Gaussian Processes 领域新的最优模型。

Jun, 2018

泛经验似然深度生成模型理解

本文研究了深度生成模型的诊断方法，提出了基于广义经验似然的方法，可以检测模型何时丢失了关键模式、发现模型的不平衡性并评估其是否能足够捕获类内多样性。

Jun, 2023

非高斯遍伴生不确定性的深度模型

深度学习方法在建模机器人估计系统中的不确定性上表现出了巨大潜力，特别是当不确定性分布不符合传统的固定和高斯假设时。本研究通过三种基本的深度学习方法（参数化模型、离散化模型和生成模型）对非高斯型不确定性进行了数值建模和评估，并在模拟非高斯密度和现实世界的地形相对导航数据上系统比较了这三种方法的优缺点。结果表明，这些深度学习方法能够准确捕捉复杂的不确定性模式，彰显了它们提高估计系统可靠性和鲁棒性的潜力。

May, 2024

ClusterDDPM：一种带有去噪扩散概率模型的 EM 聚类框架

利用新型的去噪扩散概率模型（DDPMs）引入创新的期望最大化（EM）框架进行聚类，通过优化学习聚类友好的潜在表示，有效地提高了聚类、无监督条件生成和潜在表示学习的性能。

Dec, 2023

高斯 - Softmax 积分的均场逼近及其在不确定性估计中的应用

本文提出了一种新的单模型方法，通过模擬高斯分布与神经网络的 softmax 输出的集成来解决深度神经网络输出预测中的不确定性问题，同时可以进行闭式近似推断。实验证明，该方法在标准不确定性估计任务中性能竞争力强，并且在超出分布检测方面优于许多基线方法。

Jun, 2020

证据深度学习：提高地球系统科学应用的预测不确定性估计

可靠和实用的地球系统科学建模领域中，证据深度学习是一种有前途的方法，它能够准确量化预测不确定性，包括预测方差和模型不确定性，还可以通过敏感性分析来解释模型的预测结果。

Sep, 2023

使用双重随机 MCMC 学习深度生成模型

本文介绍了倍增随机梯度 MCMC 这一简单通用的方法，用于在折叠的连续参数空间中对深度生成模型进行（近似）贝叶斯推理。我们的方法不仅适用于密度估计和数据生成的任务，还可以用于缺失数据的填充，且在性能方面优于许多现有的竞争对手。

Jun, 2015

使用引导权重的深度学习中的稀疏不确定性表示

本研究提出一种基于感知器的设计方案，该方案结合了贝叶斯神经网络和深度集成等现代方法，通过在每层的权重矩阵中加入少量的诱导权重来降低存储和计算成本，同时保持较好的预测精度和不确定性估计能力。

May, 2021