使用结构化随机失活进行卷积神经网络置信度校准

Jun, 2019

使用结构化随机失活进行卷积神经网络置信度校准

Confidence Calibration for Convolutional Neural Networks Using Structured Dropout

Zhilu Zhang, Adrian V. Dalca, Mert R. Sabuncu

TL;DR通过集成学习，本文探讨使用结构化 dropout 方法以促进模型多样性和提高置信度校准。在三个数据集中对比了多种 dropout 技术的模型多样性和置信误差，并在贝叶斯主动学习案例中验证了结构化 dropout 方法的优势。

Abstract

In classification applications, we often want probabilistic predictions to reflect confidence or uncertainty. dropout, a commonly used training technique, has recently been linked to Bayesian inference, yielding an efficient way to quantify uncertainty in →

dropout neural network models calibration error model diversity structured dropout

发现论文，激发创造

基于随机推理的深度神经网络单次置信度校准学习

本文提出了一种深度学习置信度和准确性校准的通用方法，基于随机推断对网络的预测结果进行置信度和准确性分析并设计了一种新型的基于方差加权的置信度综合损失函数，以实现网络置信度的正确预测和校准。实验结果表明该算法有效地解决了深度神经网络在预测置信度上的过度自信问题，且在不同模型和数据集上表现出色。

Sep, 2018

Dropout 蒸馏用于高效评估模型置信度

本文提出了一种有效的方法，通过 Distilled Dropout Network（DDN）来使神经网络输出更好的校准不确定性得分，从而防止过度自信，具有与蒙特卡罗方法相当的校准结果和更高的分类准确性，同时在目标检测框架中实现更好的校准，并通过 COCO 数据集验证其有效性。

Sep, 2018

Dropout 作为一种结构收缩先验

研究了深度神经网络的 dropout 正则化并提出了一种新的框架来理解深度神经网络中的加性噪声。研究了多种不同噪声并导出了其等价性，进而使 dropout 的 Monte Carlo 训练目标逼近了边缘 MAP 估计。进一步基于这些洞见提出了一种新的收缩框架用于深度神经网络，并对两种改进后的推理策略在回归基准测试中进行了调查。

Oct, 2018

通过采样强健地表示深度神经网络中的不确定性

本研究测试了 Bernoulli 和 Gaussian 多元噪声采样的权重分别采用 multiplier masking 和 dropconnect 所训练出的神经元网络在 MNIST 和 CIFAR-10 数据集上的概率预测矫正性能。结论表明，在进行预测时进行 Bernoulli dropout 和 Gaussian dropconnect 的并行采样，可以得到 Spike-and-slab 变分分布，避免增加所学参数数量的同时，获得比 Bernoulli dropout 和 Gaussian dropconnect 都更准确和稳健的表征结果。

Nov, 2016

Dropout 作为贝叶斯近似：在深度学习中表示模型不确定性

本研究发展了一种新的理论框架，将深度神经网络的 dropout 训练视为深高斯过程中的近似贝叶斯推断。我们的理论框架使我们能够通过 dropout 神经网络建模不确定性，从而解决了在深度学习中表示不确定性的问题，而不会牺牲计算复杂性或测试精度。

Jun, 2015

混凝土辍学

使用连续松弛的 dropout 的变体方法提供更好的性能和更好的校准不确定性估计，从而使大的视觉模型和强化学习的 uncertainty estimates 自动调优，进而实现更快的实验周期，同时可以使代理人在观察到更多数据时动态地适应其不确定性。

May, 2017

重新审视结构化 Dropout

本文研究使用多个有构造性的 Dropout 方法在多个现代神经网络上进行自然语言处理和计算机视觉任务。我们提出了一种名为 ProbDropBlock 的方法，该方法可以提高模型的性能，并且已经在 RoBERTa 和 ImageNet 上得到验证。

Oct, 2022

使用测试时丢弃方法，提高深度神经网络的可靠预测误差

本文介绍了一种使用测试时间 dropout 和符合预测计算可靠预测误差的深度神经网络框架，该框架的有效性以 24 个生物活性数据集的研究为支配证明。

Apr, 2019

通过对数正态乘性噪声实现结构化贝叶斯剪枝

这篇论文提出了一种基于 Bayesian 模型的 dropout 正则化方法，该方法将噪声注入神经元输出中以提供结构化稀疏性，从而去除计算图中的低 SNR 元素，并在多个深度神经结构中实现了显著的加速。

May, 2017

规模 - 丢弃：使用随机规模估计深度神经网络中的不确定性

在本论文中，我们提出了一种用于二元神经网络（BNNs）的新型正则化技术 —— 比例 Dropout（Scale Dropout），以及基于蒙特卡罗比例 Dropout（MC-Scale Dropout）的 Bayesian NNs，用于有效地估计不确定性。我们引入了一种基于自旋电子存储器的计算内存（CIM）架构，相比最先进技术可实现超过 100 倍的能量节省。我们验证了我们的方法，结果显示相对于相关工作，我们的方法在预测性能上有 1% 的改进，并提供了更优的不确定性估计。

Nov, 2023