本文提出了一种新的数据依赖性结构化梯度正则化器，旨在增加神经网络对抗扰动的鲁棒性，该正则化器可以从第一原理中导出。实验证据表明，结构化梯度正则化是对抗低水平信号污染攻击的有效一线防御。

May, 2018

提出三种方法以分析密集回归训练网络的输出方差，在推理过程中无需重新训练或调整模型，这些方法得出的不确定性估计结果与需要重新训练以及调整的最先进的方法相当甚至更好。

Sep, 2019

本文研究了神经网络中权重和激活量化的影响，提出了一种简单的正则化方案来提高其对培训后量化的适应性。通过训练量化-ready的网络，我们的方法可以存储一组可按需量化为不同位宽的权重。我们将量化建模为有界扰动，并使用梯度的L1范数来对其进行正则化，实验证明了我们该方案的有效性。

Feb, 2020

提出了一个基于对抗训练和可证明的强健性验证相结合的原则性框架，用于训练可证明强健的神经网络，并开发了一个新的梯度下降技术，可以消除随机多梯度中的偏差。 通过理论分析该技术的收敛性和与现有技术的实验比较，对 MNIST 和 CIFAR-10 的结果表明，所提出的方法可以始终匹配或优于过去的方法，特别是在 MNIST 的 epsilon = 0.3时，达到了6.60％的验证测试错误率，在 CIFAR-10上达到了66.57％（epsilon = 8/255）。

Aug, 2020

本文提出了一种基于对抗训练的方法，用于使深度神经网络具有对各种自然产生的扰动的鲁棒性，解决了当前小像素级扰动方法的不足，关键在于最大化分类器对属性空间的曝光度。

Dec, 2020

本文介绍了一种称为噪声注入节点正则化（NINR）的方法，可在深度神经网络（DNN）的训练阶段注入结构化噪声，从而产生紧急的规范化效果，该方法在各种测试数据扰动下可以显著提高DNN的稳健性，并且还可以容易地用于许多标准问题说明，特别是针对无结构噪声的情况，其效果优于现有的其他方法（如Dropout或$L_2$正则化）。

Oct, 2022

现有稀疏训练方法在高稀疏度区域存在模型质量下降的问题，本文通过限制梯度传递以减少梯度噪声，提供了一种改善高稀疏度区域视觉和语言模型性能的方法，并针对模型精度和训练计算成本的权衡问题进行了评估。

Feb, 2024

本研究解决了神经网络在面对多种噪声类型时的脆弱性问题，尤其是在保持图像细节与特征方面的不足。通过引入逆尺度变分稀疏化框架，该方法能够有效去除小尺度噪声，同时保留高对比度细节，如纹理和物体轮廓，从而显著提升模型的鲁棒性与学习效率。

Sep, 2024

本研究针对当前对抗性模型鲁棒性的主流方法提出了改进，通过仅对自然样本的梯度进行正则化来增强模型的平滑性。研究表明，这种方法在现代视觉变换器中表现优异，能在显著降低计算成本的同时，接近最先进的对抗训练性能，从而为模型鲁棒性提供了新的见解。

Sep, 2024

本研究解决了深度神经网络（DNN）在资源有限的计算平台上执行时的量化鲁棒性不足的问题。提出的ARQ方法通过强化学习寻找到既准确又鲁棒的DNN量化方案，同时利用随机平滑技术指导搜索过程，保证了分类器的清洁准确性和认证鲁棒性。实验结果表明，ARQ在多个基准测试中优于传统量化技术，甚至在许多情况下与原始浮点权重的DNN性能相当，但仅需1.5%的指令集。

Oct, 2024