通过不确定性驱动的扰动提高泛化能力

Feb, 2022

通过不确定性驱动的扰动提高泛化能力

Improving Generalization via Uncertainty Driven Perturbations

Matteo Pagliardini, Gilberto Manunza, Martin Jaggi, Michael I. Jordan, Tatjana Chavdarova

TL;DR本文讨论了梯度下降算法中的简单性偏差问题，并提出一种基于不确定性驱动的扰动方式来减小这种偏差。我们发现该方法能够提高模型的边际及泛化性能，同时在多个数据集上表现出有竞争力的鲁棒性和泛化性的平衡。

Abstract

Recently Shah et al., 2020 pointed out the pitfalls of the simplicity bias - the tendency of gradient-based algorithms to learn simple models - which include the model's high sensitivity to small input perturbati

simplicity bias gradient-based algorithms uncertainty-driven perturbations max-margin generalization

发现论文，激发创造

本地化不确定性攻击

本文介绍一种新的攻击模型，即局部不确定性攻击，用于制造确定性和随机分类器的对抗样本。与其他攻击方式不同，这种攻击是局限于分类器不确定性区域进行的，这样可以制造出更难以察觉的对抗样本。

Jun, 2021

多扰动模型联合的对抗鲁棒性

本研究提出了一种基于 PGD-based 的方法，该方法融合多种扰动模型来提高深度学习系统的鲁棒性，并在 MNIST 和 CIFAR10 数据集上进行了测试。

Sep, 2019

深度神经分类器的偏差减少不确定性估计

本研究提出了一种基于模型历史快照的算法，用于在非贝叶斯深度神经分类中，有选择地估计高度自信点的不确定性，这解决了从已训练网络中提取不确定信号的已知方法所带来的偏差估计问题，研究表明所提出的算法比所有已知方法的不确定性估计结果更加准确。

May, 2018

不确定性中寻求合适的平衡

利用贝叶斯不确定性估计解决类别不平衡学习的问题，并且成功改进了面部验证、属性预测、数字 / 物体识别、皮肤病检测等六个基准数据集上的分类性能。

Jan, 2019

基于效用的扰动梯度下降：一种连续学习优化器

该文提出了一种基于效用的扰动梯度下降算法（UPGD），可缓解灾难性遗忘和退化的可塑性问题，使现代表示学习方法适用于不断学习的环境。

Feb, 2023

通过梯度聚合提升通用对抗干扰的泛化性能

本文研究了深度神经网络对通用对抗扰动（UAP）的脆弱性，提出了一种名为随机梯度聚合（SGA）的简单有效方法，用于缓解梯度消失和逃离贫弱局部最优问题，并证实在标准 ImageNet 数据集上表现优于其他最先进方法。

Aug, 2023

MaxUp：一种简单的提高神经网络训练泛化性能的方法

本文提出了 MaxUp，一种简单且高效的技术，通过数据增强及最小化最大损失，提高机器学习模型的泛化性能，尤其是深度神经网络。同时在各种任务上进行了测试，并且始终优于现有的最佳基准方法。

Feb, 2020

对抗环境下模型不确定性的局限性

研究机器学习模型中的对抗样本和贝叶斯神经网络的不确定性测量，并发现置信度和不确定性可能是无可疑的，即使输出是错误的；同时，对大多数任务，我们在影响不确定性和置信度方面发现微妙的差异。

Dec, 2018

现代 UDA 算法中的超度现象

神经网络面对与其训练集不同的陌生数据时，存在域偏移的问题，现有的解决方法包括不加监督的域适应和确定性提取等，但它们往往会导致模型的过度确定性现象，本文提出了一种增加准确性并保证模型校准的不加监督域适应算法，适用于计算资源有限的环境。

Apr, 2024

深度确定性不确定性：一个简单的基线

本研究提出了一种概念简单的基线模型，即通过残差连接和谱归一化构建特征空间后，利用高斯判别分析对 softmax 神经网络的预测原型进行后处理，从而达到准确预测深度神经网络中的不确定性的目的，这种 Deep Deterministic Uncertainty（DDU），可以替代当前复杂且耗时的不确定性量化方法，且比当前最先进的方法的计算成本更低。

Feb, 2021