神经网络中的鲁棒性增强与 Alpha 稳定训练噪声

Nov, 2023

Robustness Enhancement in Neural Networks with Alpha-Stable Training Noise

Xueqiong Yuan, Jipeng Li, Ercan Engin Kuruoğlu

TL;DR通过比较在不同噪声干扰下使用高斯噪声和 α 稳定噪声训练模型的测试准确性，发现使用 α 稳定噪声更有效，特别是在数据集被突发噪声干扰时，从而提高模型的鲁棒性。因此，提出一种替代在训练数据中添加高斯噪声的新型数据增强方法。

Abstract

With the increasing use of deep learning on data collected by non-perfect sensors and in non-perfect environments, the robustness of deep learnin

发现论文，激发创造

本文研究神经网络的训练优化问题，利用噪音及扰动的梯度下降和随机梯度下降算法能够在多项式时间内收敛到全局最优解，消除了局部最优解问题。

Sep, 2019

本文针对神经网络的稳健性和稳定性问题，提出了一种通用的训练方法，旨在使现有的神经网络架构更能够适应输入的视觉扰动，该方法无需进行数据扩充或更改网络架构。通过现有的神经网络架构实验，理论证据和实证结果证明，当使用该方法进行训练时，模型性能会显著提高，尤其是在噪声数据存在的情况下。

Nov, 2018

本研究探讨深度学习算法为何能很好地泛化，进一步提出了针对假设强度的鲁棒性方法 —— 集成鲁棒性，并发现只要随机算法对于对抗性扰动的敏感性受到训练样本均值的限制，它就能很好地泛化，而本文提供的大量模拟验证了集成鲁棒性和泛化能力之间的强相关性。

Feb, 2016

研究数据为中心的机器学习，通过引入多种噪声，提出了一种高效的数据增强方案，以提高黑盒测试环境下模型的鲁棒性。该方法基于轻量级算法构建，经过全面的评估，证明了在计算成本和鲁棒性增强方面的有效性。作者还分享了他们从实验中获得的数据为中心的鲁棒机器学习的见解。

Mar, 2022

本研究解决了深度神经网络输出不稳定的问题，通过提出一种稳定训练方法，使其能够应对常见图像处理带来的输入扭曲，并在大规模近似重复检测、类图像排序和嘈杂数据集分类等方面取得了鲁棒且最先进的性能。

Apr, 2016

本文提出了一种网络权重初始化的方法，使其能够在更高噪声水平下学习，同时评估了在 MNIST 和 CIFAR10 数据集上增强对抗噪声对学习范围的影响，并通过对简单多维伯努利分布的理论结果进行研究，提出了一些关于 MNIST 数据集可行扰动范围的见解。

Mar, 2020

通过使用数据抽象来减少噪音对模型性能的影响是一种可行的方法，这可以增强机器学习算法对噪音的鲁棒性。

Jun, 2024

本研究分析了随机平滑在噪声训练基分类器时的风险和收益，并揭示了在什么分布下可以获得收益。实验表明，理论分析对随机平滑的实际应用有直接的影响。

May, 2023

通过研究 DNN 分类器的布尔函数序列的噪声敏感性，深入理解了常见 DNN 模型中观察到的非鲁棒现象，并探讨了两种标准 DNN 架构（完全连接和卷积模型）在高斯权重下的特性。

Aug, 2023

通过研究模型在训练过程中的随机性，我们发现在自然语言理解任务中，模型的预测结果的不稳定性会对一部分查询产生影响，提出了一种衡量稳定性现象的方法 —— 标签熵，我们研究了数据不可知的正则化方法和新的数据中心方法，发现它已在计算成本的分数中取得了 90% 的性能优势以及金标准的表现。

May, 2023