通过放宽网络最后一层的正交化约束，证明了 1-Lipschitz CNN 的鲁棒性，此外还引入了新的梯度规范化激活函数和证明规则，有效提高了 CIFAR 数据集上的准确率。
Aug, 2021
介绍了一种基于卷积结构的归一化方法 (Convolutional Normalization)，它可以方便地作为模块嵌入到任何卷积神经网络 (ConvNets) 中，通过提高权重的正交性和每层的通道等距性，减小权重矩阵的层范数，提高网络的 Lipschitzness 并且提高 GAN 性能和普适性。
Mar, 2021
本文研究了深度神经网络的输入梯度正则化，并证明了这种正则化可以导致泛化证明和改进的对抗性稳健性。通过将对抗训练与 Lipschitz 正则化相结合，可以使模型更加稳健，并且可以使用图像的梯度范数进行攻击检测。
Aug, 2018
通过 Block Convolution 正交参数化的方法，我们可以训练具有可证明的 Lipschitz 界限的大型卷积神经网络，其表现与现有方法相当，实用性强。
Nov, 2019
探索对抗训练的极限，发现了通过结合更大的模型、Swish/SiLU 激活函数和模型权重平均化可以训练出强健模型，同时在 CIFAR-10 和 CIFAR-100 数据集上有了大幅度的提升。
Oct, 2020
本研究提出了一种新的对归一化方法和权值衰减的目的和功能的视角，并建议了几种常用 L2 批归一化的替代方案，包括 L1 和 L∞范数中的归一化，以提高计算和内存效率，并且在低精度实现中大幅提高了数值稳定性，并且还提出了一种改进重要性重归一化的方法，可以提高其在大规模任务上的性能。
Mar, 2018
本文提出了一种技术，能够将深度学习分类器的防御性能从较小的前馈神经网络拓展到更广泛的网络结构，同时采用非线性随机投影的方式进行训练，并通过级联模型进一步提高分类器的鲁棒性能。在 MNIST 和 CIFAR 数据集上进行实验，证明了该方法在可证明的抗干扰错误率上有着明显的提升。
May, 2018
本论文提出通过四个可导且计算速度高的界来计算二维卷积层的谱范数并将四个界的最小值作为卷积层谱范数的紧致可导下界，在 MNIST 和 CIFAR-10 上实验并证明其有效提高了深度网络的泛化性和鲁棒性。
本研究旨在通过使用谱规范化方法，为深度神经网络在对抗性环境下的训练提供一种有效的正则化策略，以解决其在输入微小的对抗性扰动下缺乏鲁棒性的问题。同时，我们将边界损失延伸到对抗性环境，并限制了多个梯度攻击方案下深度神经网络的泛化误差。
Nov, 2018
该研究提出了一种新型 Lp 范数扰动有效的对抗攻击方法，旨在减少 L0 范数失真，通过设计优化方案和引入对抗阈值概念，实现了更好的对抗稳健性和视觉不可感知性。
Jul, 2024