NIPSApr, 2017

主动偏置：通过强调高方差样本训练更准确的神经网络

PDF
TL;DR本文提出基于样本不确定性轻量级估计的两种改进型随机梯度下降算法：SGD 迭代中正确类别预测概率的方差和与决策阈值的正确类别概率的接近度来重新加权训练样本，实验结果表明我们的方法可靠地提高了各种网络结构的精度，包括残差学习、动量、ADAM、批量标准化、丢弃和蒸馏等其他流行的训练技术所不能达到的额外收益。
发现论文，激发创造
  • 分布式重要性采样在 SGD 中的方差减少

    该研究提出一种分布式深度学习框架，其中一组工作者并行搜索最具信息性的示例，而单个工作者则使用重要性抽样方法更新模型。实验证明，当采样提议与梯度的 L2 范数成正比时，该方法可以减少梯度方差，即使在跨机器同步成本不可忽略且重要性抽样因子不会立即更新的情况下也是如此。

    Nov, 2015

  • 可靠的方差网络训练和估计

    本研究提出了新的互补方法来估计回归神经网络中的预测方差网络，经验证明此方法大幅改善了预测不确定性的估计。

    Jun, 2019

  • 并非所有样本都是相等的：使用重要性采样的深度学习

    本研究提出了一种基于重要性采样的计算优化方案，该方案能够减少深度神经网络训练过程中冗余计算，提升模型的训练效果并有效降低损失。实验结果显示，该方案能够在相同的时间预算下，将训练损失降低一个数量级，并提高测试误差 5％至 17％。

    Mar, 2018

  • 基于统计模型的主动学习

    本文回顾了如何使用最优数据选择技术来优化一些类型的机器学习算法，包括前馈神经网络、高斯混合模型和局部加权回归，并探讨了此方法如何降低训练数据量，提高模型性能。

    Mar, 1996

  • 深度神经分类器的偏差减少不确定性估计

    本研究提出了一种基于模型历史快照的算法，用于在非贝叶斯深度神经分类中，有选择地估计高度自信点的不确定性，这解决了从已训练网络中提取不确定信号的已知方法所带来的偏差估计问题，研究表明所提出的算法比所有已知方法的不确定性估计结果更加准确。

    May, 2018

  • 充分利用数据：改变训练数据分布以提高内分布泛化性能

    我们通过比较梯度下降（GD）和锐度感知最小化（SAM）的归纳偏差，证明了 SAM 在早期阶段更均匀地学习易于和困难的特征，因此我们提出了一种基于网络输出的示例聚类算法并上采样那些没有易于特征的示例，从而改善了原始数据分布上（S）GD 的泛化性能。同时，我们证明该方法与 SAM 和现有的数据增强策略相结合，在 CIFAR10、STL10、CINIC10、Tiny-ImageNet 上训练 ResNet18，在 CIFAR100 上训练 ResNet34，以及在 CIFAR10 上训练 VGG19 和 DenseNet121 中，取得了目前最佳的性能。

    Apr, 2024

  • 利用典型性采样加速小批量随机梯度下降

    通过基于典型性采样的批次选择方法，构建更有效率的批次选择策略来降低传统 Mini-batch SGD 中梯度估计误差，提高收敛速度及效果。

    Mar, 2019

  • 基于最小方差的采样方法用于图神经网络的快速训练

    本研究分析了现有采样方法中存在的方差问题，提出了一种基于梯度信息和嵌入逼近的解耦合方差缩减策略，该方法即使在更小的批量尺寸下也具有更快的收敛速度和更好的泛化效果。

    Jun, 2020

  • 基于生成模型的不确定性感知深度分类器

    本篇研究提出了一种神经网络模型，该模型能够同时表达 aleatoric 和 epistemic 不确定性，区分特征空间的决策边界和 “out-of-distribution” 区域。在训练过程中，通过集成变分自编码器和生成对抗网络的方法生成了 “out-of-distribution” 样本。通过在多个数据集上进行实验，表明该方法提供了更好的不确定性估计，并且在识别对抗样本时表现出优异的表现。

    Jun, 2020

  • 激活样本方差的方差正则化

    通过添加一个新的损失项，将神经网络激活函数的方差稳定下来，使其围绕几个不同的模式分布，并将这种正则化项与 batchnorm 方法联系起来，提高了卷积神经网络和全连接网络的准确性。

    Nov, 2018