Neural-g: 混合密度估计的深度学习框架

Jun, 2024

Neural-g: 混合密度估计的深度学习框架

Neural-g: A Deep Learning Framework for Mixing Density Estimation

Shijie Wang, Saptarshi Chakraborty, Qian Qin, Ray Bai

TL;DR通过神经网络实现混合密度估计以及先验概率密度估计的新方法 neural-g，并证明了神经网络可以学习任意概率质量函数的能力。

Abstract

Mixing (or prior) density estimation is an important problem in machine learning and statistics, especially in empirical bayes $g$-modeling where accurately estimating the prior is necessary for making good posterior inferences. In this paper, we propose neural-$g$, a new neural networ

mixing density estimation neural-g empirical bayes probability density multivariate prior density estimation

发现论文，激发创造

贝叶斯深度知识

本文探讨了应用于深度神经网络中的贝叶斯参数估计问题，提出了一种压缩 Monte Carlo 近似方法的新算法，与贝叶斯神经网络中的其他两种方法作了对比，证明了该算法不仅表现更优，而且更简单易于实现且测试所需运算资源更少。

Jun, 2015

在无限宽度极限下探究神经网络隐式先验的不确定性特性

本文研究深度学习模型的不确定性估计问题，基于神经网络高斯过程构建了一个概率模型，能够更好地校准模型并比较有限和无限宽模型的表现差异，同时也考虑了分类问题和迁移学习等实际应用场景。

Oct, 2020

神经网络高斯过程的比例混合

本文提出了一种基于高斯随机变量尺度混合的 NNGPs 模型，并利用先验分布在最后一层参数上引入尺度先验，使得任何架构的无穷宽神经网络都能转化为一种更丰富的随机过程，通过实验进一步证明了该模型在回归和分类任务方面的可行性和鲁棒性。

Jul, 2021

HyperGAN：一种多样化、高性能神经网络的生成模型

本文介绍了一种名叫 HyperGAN 的生成模型，用于学习神经网络参数的分布，并使用它生成包含有效参数的深度神经网络。HyperGAN 可以用于大规模和多样化的生成，可以用于标记 MNIST 和 CIFAR-10 数据集，能提供比标准集合更好的不确定性评估。

Jan, 2019

深高斯混合集合

本文介绍了一种新颖的概率深度学习技术 —— 深高斯混合集成（DGMEs），它能够准确量化认知不确定性和 Aleatoric 不确定性，通过假设数据生成过程遵循高斯混合的模型，DGMEs 能够逼近复杂的概率分布。实验结果表明，DGMEs 在处理复杂的预测密度方面比现有的不确定性量化深度学习模型表现更好。

Jun, 2023

图混合密度网络

该研究提出了一种新的机器学习模型 —— 图混合密度网络，可适用于任意拓扑结构的多模态输出分布拟合。研究结果表明，该模型在应对结构化数据相关的挑战性条件密度估计问题方面表现突出，并可应用于随机传染病模拟等领域，且能有效提高结果的预测不确定性。

Dec, 2020

扩散模型辅助监督学习用于密度估计的生成模型

基于得分扩散模型的监督式学习框架用于训练生成模型，并通过生成标记数据解决了无监督训练中的问题，提高了采样效率和神经网络训练的时间节省。

Oct, 2023

使用深度高斯混合模型估计缺失值的条件密度

本研究提出了一种结合深度神经网络灵活性和高斯混合模型简洁性的方法来估计缺失值的条件概率分布，并实验验证了我们的模型在插补缺失值方面的有效性。

Oct, 2020

深高斯混合模型用于无监督图像分割

使用深度学习、高斯混合模型和卷积神经网络方法，本研究提出了一种可以快速预测标签概率的图像分割方法，并且能部分克服高斯混合模型中忽略相邻像素相关性的缺点，通过在多序列 MRI 图像上进行心肌梗塞分割的实验证明了该方法的优势。

Apr, 2024

神经网络中学习表达先验的方法用于泛化和不确定性估计

本文提出了一种基于先验学习的新方法，用于提高深度神经网络的泛化和不确定性估计，该方法利用可伸缩和结构化的神经网络后验作为具有泛化保证的信息先验。我们的学习先验在大规模上提供了具有表现力的概率表征，可以看作是在 ImageNet 上预训练模型的贝叶斯对应物，并进一步产生非平凡的泛化界限。我们还将这个想法扩展到了一个连续学习的框架中，其中我们的先验的有利特性是可取的。我们的技术贡献是（1）Kronecker 积分和求和计算，以及（2）导出和优化可追踪的目标，从而导致改进的泛化边界。从实证上来说，我们详尽地展示了这种方法用于不确定性估计和泛化的有效性。

Jul, 2023