Oct, 2022

GFlowOut: 基于生成性流网络的 Dropout

PDF
TL;DR本研究旨在提出一种名为 GFlowOut 的方法，利用生成性流网络（GFlowNets）的概率框架来学习丢弃掩码的后验分布，并解决用传统变分推断方法来估算高度多模式后验分布及利用样本相关信息的困难，最终实验证明 GFlowOut 的预测分布具有更好的泛化性和提供更好的不确定性估计。
bayesian inferencemonte carlo dropoutvariational inferencegenerative flow networksuncertainty estimation
发现论文，激发创造
  • 将可学习的概率离散隐变量纳入机器学习模型以提高眼疾检测的稳健性

    利用 GFlowOut 及底端释出掩模，通过深度学习模型分析眼底图像，改善对眼科疾病的识别和分类，是一种有效且全面适用的方法。

    Jan, 2024

  • Dropout 作为贝叶斯近似：在深度学习中表示模型不确定性

    本研究发展了一种新的理论框架，将深度神经网络的 dropout 训练视为深高斯过程中的近似贝叶斯推断。我们的理论框架使我们能够通过 dropout 神经网络建模不确定性，从而解决了在深度学习中表示不确定性的问题，而不会牺牲计算复杂性或测试精度。

    Jun, 2015

  • 生成流网络的贝叶斯结构学习

    本研究提出了一种称为 DAG-GFlowNet 的方法，使用 Generative Flow Networks 代替 MCMC 来近似推断 Bayesian 网络结构的后验分布。实验结果表明，DAG-GFlowNet 能够提供准确的 DAG 后验近似，并且相对于 MCMC 或变分推断等方法具有优势。

    Feb, 2022

  • GFlowNets 和变分推断

    这篇文章研究了两​​种概率算法（层次）变分推断（VI）和生成流网络（GFlowNets）之间的关系。作者发现，在某些情况下，VI 算法等价于 GFlowNets 的特殊情况，但 GFlowNets 比 VI 更适宜于强化学习和多模态目标分布的捕捉。

    Oct, 2022

  • 通过采样强健地表示深度神经网络中的不确定性

    本研究测试了 Bernoulli 和 Gaussian 多元噪声采样的权重分别采用 multiplier masking 和 dropconnect 所训练出的神经元网络在 MNIST 和 CIFAR-10 数据集上的概率预测矫正性能。结论表明，在进行预测时进行 Bernoulli dropout 和 Gaussian dropconnect 的并行采样，可以得到 Spike-and-slab 变分分布，避免增加所学参数数量的同时，获得比 Bernoulli dropout 和 Gaussian dropconnect 都更准确和稳健的表征结果。

    Nov, 2016

  • GFlowNets 与更多模型的统一生成模型

    探讨了深度生成模型和 GFlowNet 框架之间的关系，从 Markovian 规划的角度提供了训练和推理算法统一的方式，并给出了实践验证的优化建议。

    Sep, 2022

  • 生成流网络：马尔可夫链角度

    本文对 Generative Flow Networks 进行了形式化，并将其视为循环马尔科夫链状态空间下采样的一种方法，这一方法可以在不使用流动的情况下模拟复杂的多模态概率分布函数。

    Jul, 2023

  • 广义 Dropout

    研究表明，Dropout 不仅是一种常用的 Deep Learning 正则化器，而且可以视为对网络参数进行近似贝叶斯推断的一种方式。该论文提出了一种名为 Generalized Dropout 的正则化器家族，并介绍了该家族的一些成员，如可训练参数版本的 Dropout++ 和选择神经网络层宽的方法。实验证明，这些方法比 Dropout 在泛化性能方面更好。

    Nov, 2016

  • 循环神经网络中基于理论的 Dropout 应用

    该论文介绍了一种基于变分推断的 dropout 新技术，并探讨了如何将其应用到 LSTM 和 GRU 模型中，这种方法表现优于现有技术，并在语言模型中取得了最佳结果。

    Dec, 2015

  • Dropout 作为贝叶斯近似：附录

    采用随机失活（dropout）技术的神经网络可以被等效地表示为贝叶斯模型的一种逼近，该方法可以帮助我们更好地理解神经网络中的不确定性并将贝叶斯方法引入深度学习框架。

    Jun, 2015