Oct, 2020

在无限宽度极限下探究神经网络隐式先验的不确定性特性

PDF
TL;DR本文研究深度学习模型的不确定性估计问题，基于神经网络高斯过程构建了一个概率模型，能够更好地校准模型并比较有限和无限宽模型的表现差异，同时也考虑了分类问题和迁移学习等实际应用场景。
deep learningneural networksuncertainty estimationprobabilistic modelcalibration
发现论文，激发创造
  • 深度神经网络作为高斯过程

    本文研究无限宽深层神经网络和高斯过程的等价性，提出一种计算高斯过程协方差函数的有效方法，并使用该方法在 MNIST 和 CIFAR-10 上进行了贝叶斯推断，在网络宽度增加时，训练神经网络的准确率和 GP 预测的不确定性分别增加，而有限宽度训练网络越接近 GP，测试性能越好，GP 预测通常优于有限宽度网络的预测，最后将这些 GP 的性能与随机神经网络的信号传播理论相联系。

    Nov, 2017

  • 神经网络高斯过程的比例混合

    本文提出了一种基于高斯随机变量尺度混合的 NNGPs 模型，并利用先验分布在最后一层参数上引入尺度先验，使得任何架构的无穷宽神经网络都能转化为一种更丰富的随机过程，通过实验进一步证明了该模型在回归和分类任务方面的可行性和鲁棒性。

    Jul, 2021

  • 神经网络高斯过程的有限尺寸修正

    研究使用高斯过程模拟神经网络的兴趣越来越浓厚，本研究针对具有单隐藏层的大规模有限完全连接网络展示了输出在初始化时的高斯分布，同时发现该扰动的尺度与神经网络单元的数量成反比例关系，高阶项逐渐衰减，进而回复到 Edgeworth 扩展的形式；最后观察到理解该扰动在训练期间如何改变，将有助于展示高斯过程框架在模拟神经网络行为时的适用范围。

    Aug, 2019

  • 无限宽的贝叶斯神经网络中权重无界方差下的后验推断

    针对具有无界方差的神经网络权重的后验推断问题，提供了一种可解释且计算高效的条件高斯表达方法。该方法可利用高斯过程机器进行可行的后验推断和不确定性量化。

    May, 2023

  • 有限宽度下的非高斯过程与神经网络

    本文研究基于高斯过程的无限宽神经网络的有限宽度情况，通过积分消除随机变量实现层间激活分布的跟踪，推导出非高斯过程作为其先验，并发展了一种弱非高斯先验下的贝叶斯推断扰动程序。

    Sep, 2019

  • 带瓶颈的宽神经网络是深高斯过程

    本文探讨了存在 “瓶颈” 的 BNNs 的宽限制，其中一些隐藏层被保持在有限宽度，结果是一种高斯过程的组合，我们称之为 “瓶颈神经网络高斯过程”（bottleneck NNGP），并分析了单个瓶颈 NNGP 的理论，发现瓶颈在极端深度通过产生输出之间的相关性，并防止网络的内核在极端深度失去区分能力。

    Jan, 2020

  • 宽神经网络作为高斯过程：深度平衡模型的教训

    当 DEQ 层的宽度趋近于无穷大时，它收敛到一个高斯过程，建立了所谓的神经网络和高斯过程 (NNGP) 的对应关系，这种收敛甚至在深度和宽度的极限互换的情况下也成立，这些发现为研究 DEQ 的训练和泛化提供了基础，为未来的研究奠定了基础。

    Oct, 2023

  • 深度学习时代的可扩展贝叶斯推断：从高斯过程到深度神经网络

    本论文介绍了一种将大型神经网络装备上模型的不确定性的方法，并应用了这个方法在 ResNet-50 和深度图像先验网络上进行了实验。

    Apr, 2024

  • 具有贝叶斯深度神经网络的分类快速预测不确定性

    本文提出了使用 Dirichlet 近似来构建分类神经网络输出的分布，该近似比先构建权重的 Gaussian 分布再进行采样来得更省时，同时有利于计算不确定性和大规模数据集的应用，例如 ImageNet。

    Mar, 2020

  • 距离感知简单方法改进单模型深度不确定性

    研究了如何改进深度神经网络的不确定性量化能力，基于确定性表示将不确定性量化形式化为极小化 - 极大化学习问题，提出了一种名为 SNGP 的方法，通过两个简单的改变来提高现代 DNN 的距离感知能力，取得了较好的预测、校准和超领域检测性能。

    May, 2022