ICMLJun, 2020

稀疏信息形式下神经网络模型不确定性的估计

PDF
TL;DR本研究提出了一种神经网络模型的稀疏表达方式，利用多元正态分布的逆公式做参数后验概率的近似，进而压缩信息矩阵的维度。通过开发新的稀疏化算法和经济高效的分析采样方法，证明了该方法可以扩展地应用于深度神经网络，并在各种基准测试中显示出其具有竞争力的优势。
发现论文，激发创造
  • 使用引导权重的深度学习中的稀疏不确定性表示

    本研究提出一种基于感知器的设计方案，该方案结合了贝叶斯神经网络和深度集成等现代方法，通过在每层的权重矩阵中加入少量的诱导权重来降低存储和计算成本，同时保持较好的预测精度和不确定性估计能力。

    May, 2021

  • 神经网络的稀疏函数空间表示

    我们提出了一种方法，通过将神经网络从权重空间转换为函数空间，来解决深度神经网络缺乏不确定性估计和难以整合新数据的问题。这种双重参数化的方法使我们能够制定出捕捉整个数据集信息的稀疏表示，为捕捉不确定性提供了一种紧凑而有原则的方式，并且能够在保持预测性能的同时整合新数据而无需重新训练。我们通过在 UCI 基准任务上的有关监督学习的不确定性量化的概念验证演示来支持所提出的方法。

    Sep, 2023

  • 逆问题中的稀疏正则化中学习高斯混合模型

    本研究提出了一种概率稀疏性先验，用于建模相对于通用基的稀疏性，并设计了一个神经网络作为线性逆问题的贝叶斯估计器。通过与常用的稀疏性促进正则化技术进行比较，我们的重建方法在所有使用的一维数据集上均表现出更低的均方误差值。

    Jan, 2024

  • 学习结构高斯模型来近似深度集成

    该论文提出使用稀疏结构多元高斯来逼近概率集成模型的输出，同时通过卷积神经网络实现，该方法显式地捕获了预测的不确定性和结构相关性，并且在单个网络中可以进行空间相关采样和测试时的任意空间限制，并在单目深度估计上得到可比较的数量表现。

    Mar, 2022

  • 稀疏深度学习的不确定性量化

    本文探讨了深度学习中的不确定性矫正问题，提出并验证了在非参数回归任务中使用稀疏深度 ReLU 结构进行贝叶斯推断的理论模型，强调了其在统计推断方面的优势。

    Feb, 2020

  • 稀疏高维数据上基于推理网络的学习挑战

    本文研究基于深度神经网络的非线性因子分析中的参数估计问题，探讨了大规模、稀疏、高维数据中的欠拟合问题，提出了受随机变分推断启发的迭代优化方法及改进的稀疏数据表示方法，实现了在文本计数数据集上的最新结果和在 Top-N 推荐任务上的优异表现。

    Oct, 2017

  • 用于隐式模型的神经近似充分统计量

    本文提出了一种使用深度神经网络学习数据的互信息最大化表示来构建难以计算似然函数的隐式生成模型的摘要统计量，并将其应用于传统的近似贝叶斯计算和最近的神经似然方法，提高了它们的性能。

    Oct, 2020

  • 稀疏贝叶斯网络：医学图像分析中高效的不确定性量化

    通过选择性地通过梯度敏感性分析评估确定性显著性，本研究引入了对稀疏（部分）贝叶斯网络的训练过程。通过将确定性参数与贝叶斯参数相结合，充分利用两种表示的优点，实现了高效的特定任务性能和最小化的预测不确定性。在多标签 ChestMNIST 分类和 ISIC、LIDC-IDRI 分割任务上表现出了有竞争力的性能和预测不确定性估计，相比完全贝叶斯化和集合方法，能够显著减少 95% 以上贝叶斯参数，从而大大降低计算开销。

    Jun, 2024

  • DNN 的概率表示：连接互信息和泛化

    本文提出了一种概率表示方法，用于准确估计深度神经网络的互信息，并利用估计器验证了信息理论对泛化的解释，得出了比现有方法更紧密的泛化界限。

    Jun, 2021

  • 深度神经网络模型中的熵和互信息

    本文介绍了一类采用可计算的信息理论模型的深度学习模型，探讨了该模型从启发式的统计物理方法中导出熵和互信息的方法，在该方法的基础上，设计了一种实验框架用于对生成模型进行训练，并对该模型进行验证，同时研究了本模型在学习过程中的行为，得出结论：在所提出的情况下，压缩和泛化之间的关系仍然不明确。

    May, 2018