ICLRFeb, 2018

基于随机批标准化的不确定性估计

PDF
TL;DR本文提出了对批标准化技术的概率解释，设计了一种概率模型，证明了批标准化可以最大化其较小边界的边际对数似然。基于新的概率模型，我们设计了一种一致性算法，以减少内存和计算成本，并提供了一种可扩展的不确定性估计技术。该方法在 MNIST 和 CIFAR-10 数据集上对受欢迎的架构进行了演示。
发现论文，激发创造
  • 基于贝叶斯方法的批标准化深层网络不确定性估计

    使用批归一化训练深度神经网络相当于在贝叶斯模型中进行近似推理，通过一系列实验验证此方法有效，对比基线和贝叶斯方法表现显著优于前者，与后者相媲美。

    Feb, 2018

  • 一项批处理白化随机性调查

    本文研究批量白化（Batch Whitening），提供了一个可用于不同场景下的批量白化算法设计及比较框架，并通过 ImageNet 数据集分类和生成对抗网络训练的应用实践验证了所提出算法的有效性和稳定性。

    Mar, 2020

  • 批量归一化单图超分辨率网络的快速贝叶斯不确定性估计与降低

    采用贝叶斯方法为图像超分辨率模型估算输出的不确定性，并利用批标准化层的不确定性估算技术生成 Monte-Carlo 样本，提出一种更快的生成样本的方法，以及降低输入图像的模型不确定性的方法和抵御对抗性攻击的方法以提高模型的性能。

    Mar, 2019

  • 在 BN 反向传播中稳定批统计量

    本文提出一种新的归一化方法，即移动平均批量归一化（MABN），可以在小批量情况下完全恢复基本 BN 的性能，并且在推理过程中不需要引入任何额外的非线性操作，此方法通过理论分析和实验演示了其有效性。

    Jan, 2020

  • 基于随机推理的深度神经网络单次置信度校准学习

    本文提出了一种深度学习置信度和准确性校准的通用方法，基于随机推断对网络的预测结果进行置信度和准确性分析并设计了一种新型的基于方差加权的置信度综合损失函数，以实现网络置信度的正确预测和校准。实验结果表明该算法有效地解决了深度神经网络在预测置信度上的过度自信问题，且在不同模型和数据集上表现出色。

    Sep, 2018

  • 提高批标准化的四个必知技巧

    本文探讨了神经网络优化中常见的批量标准化方法，并提出了四种改善方法，包括基于推理标准化统计的推理现有实例的方法、小批量大小下有效的 Ghost Batch Normalization 正则化方法、权重衰减正则化对 scaling 和 shifting 参数 gamma 和 beta 的影响、并结合批量标准化和分组标准化的方法解决小批量规模的问题。这些方法可以提高神经网络在六个数据集上的性能表现。

    Jun, 2019

  • 随机白化批量归一化

    本研究提出了一种名为 SWBN 的针对深度神经网络的新算法，该算法使用随机白化技术渐进估计白化矩阵，相较于 IterNorm 算法实现了更快的收敛和更好的泛化效果。在常规（大批量）图像分类和少样本分类任务上，经过综合实验和对比，显示出了 SWBN 方法的有效性。

    Jun, 2021

  • 使用软正规化进行不确定性估计的变分推断贝叶斯卷积神经网络

    通过对 Softplus 函数的输出进行归一化，我们为具有变分推断的贝叶斯卷积神经网络引入了一种新的分类任务的不确定性估计方法。我们展示了这种可靠的变分推断方法如何作为各种网络架构的基本构造，并在多个数据集（MNIST，CIFAR-10，CIFAR-100）中的监督学习设置中实现与同一架构的频率主义推断相同的性能。

    Jun, 2018

  • 批次重正化：降低批量归一化模型中的小批量相关性

    本文提出了一种称为 Batch Renormalization 的扩展方法，在训练深度学习模型时，在 minibatch 太小或不包含独立样本时，解决模型层输入依赖于 minibatch 所有实例和训练与推理之间存在的差异，同时保持初始化和训练效率等方面的优点。

    Feb, 2017

  • EvalNorm: 用于模型评估的批归一化统计量估计

    通过使用 EvalNorm，本文解决了小 minibatch 训练时 batch normalization 性能下降的问题，而且 EvalNorm 实现方便，可以进一步提高模型性能。

    Apr, 2019