本研究发展了一种新的理论框架，将深度神经网络的 dropout 训练视为深高斯过程中的近似贝叶斯推断。我们的理论框架使我们能够通过 dropout 神经网络建模不确定性，从而解决了在深度学习中表示不确定性的问题，而不会牺牲计算复杂性或测试精度。

Jun, 2015

本研究探讨了 Monte-Carlo dropout 的行为特性，并发现了一些需要注意的有趣属性，以供不确定性估计时谨慎考虑和测试。

Aug, 2020

在本论文中，我们提出了一种用于二元神经网络（BNNs）的新型正则化技术 —— 比例 Dropout（Scale Dropout），以及基于蒙特卡罗比例 Dropout（MC-Scale Dropout）的 Bayesian NNs，用于有效地估计不确定性。我们引入了一种基于自旋电子存储器的计算内存（CIM）架构，相比最先进技术可实现超过 100 倍的能量节省。我们验证了我们的方法，结果显示相对于相关工作，我们的方法在预测性能上有 1% 的改进，并提供了更优的不确定性估计。

Nov, 2023

使用连续松弛的 dropout 的变体方法提供更好的性能和更好的校准不确定性估计，从而使大的视觉模型和强化学习的 uncertainty estimates 自动调优，进而实现更快的实验周期，同时可以使代理人在观察到更多数据时动态地适应其不确定性。

May, 2017

本文提出了上下文辍学模块，采用有效的结构设计作为一个简单和可伸缩的样本依赖性辍学模块，可应用于各种模型中，展示了该方法的可伸缩性在大规模数据集上的实验结果显示，该方法在准确性和不确定性估计质量方面优于基线方法。

Mar, 2021

本文探究机器学习模型预测不确定性模拟的一种技术 Monte-Carlo Dropout 的聚类方法，并使用贝叶斯高斯混合模型来解决效率问题。同时研究了不同的 dropout rate，focal loss 和标度等技术，并将它们整合到 Mask-RCNN 模型中，以获得每个实例最准确的不确定性估计并进行图形展示。

May, 2023

Bayesian Neural Networks (BayNNs) and uncertainty estimation in spintronics-based computation-in-memory architectures are analyzed with a focus on the reliability of Dropout generation and BayNN computation, proposing a testing framework for Dropout-based BayNN with high fault coverage and minimal training data usage.

Jan, 2024

该论文提出了一种不确定性注入范式，用于培训深度学习模型以解决鲁棒优化问题，该模型能够隐含地考虑不确定性并产生统计上健壮的解决方案，而无线通信是存在不确定性的应用领域之一，在多用户 MIMO 下行传输的强鲁棒功率负载和设备到设备网络的强鲁棒功率控制中证明了所提出的训练方案的有效性。

Feb, 2023

将 Dropout 重新解释为贝叶斯神经网络的近似推理算法，提出了一个有用的理论框架，但对于使用不当的先验概率，存在未定义或病态行为的真后验分布问题；对于近似分布相对于真后验分布的奇异性而言，近似难以定义。为了解决这些问题，提出了 Quasi-KL（QKL）差异作为新的近似推理目标。

Jul, 2018

本文介绍了一种使用测试时间 dropout 和符合预测计算可靠预测误差的深度神经网络框架，该框架的有效性以 24 个生物活性数据集的研究为支配证明。

Apr, 2019