本文提出一种增强的对抗训练策略 AdvProp，将对抗样本作为额外的样本引入训练过程，使用单独的辅助批归一化来处理对抗样本，进一步提高图像识别模型的准确性，在各种图像识别任务中均得到了提升，特别是在最新的 EfficientNet-B7 上，我们实现了达到前沿水平的表现。

Nov, 2019

在这项工作中，我们提出了一种利用模型的内部构建块来提高效率的方法，通过在训练过程中动态地采样轻量级子网络作为替代模型，加速前向和后向传递以实现高效的对抗训练，并通过理论分析证明了单步对抗训练和采样子网络可以提高模型的鲁棒性。相比之前的方法，我们的方法不仅减少了训练成本，而且实现了更好的模型鲁棒性。

Oct, 2023

通过混合分布中的辅助批归一化层实现的解缠耦学习技术能够提高深度神经网络的标准准确性和对于外部分布域的鲁棒性。本文提出了高熵传播（EntProp）方法，通过增加样本的熵来生成远离内部分布域的样本，并通过数据增强和自由对抗训练技术实现，从而能够在较小的数据集上获得更高的准确性和鲁棒性。

May, 2024

本研究提出一种新的正则化方法，可以更高效地训练神经网络并提高防御对抗攻击的准确性。在 MNIST 和 CIFAR-10 数据集上的实验证明了该方法的有效性。

Feb, 2021

本篇论文提出了一种名为 QueryProp 的视频物体检测特征传播框架，通过对象级特征传播策略和自适应传播门进行关键帧选择，实现了高准确率和高速度的检测。

Jul, 2022

本篇论文提出了一种名为 Adversarial Noise Propagation 的训练算法，将噪声注入隐藏层以提高深度模型的鲁棒性，并证明不同的隐藏层对模型鲁棒性和整洁的准确性有不同的贡献。该算法可有效地与其他对抗性训练方法相结合，进一步提高模型的鲁棒性。在 MNIST、CIFAR-10、CIFAR-10-C、CIFAR-10-P 和 ImageNet 上的广泛实验表明，ANP 实现了深度模型对对抗性和受损数据均具有强大的鲁棒性，并明显优于各种对抗性防御方法。

Sep, 2019

本文提出了 YOPO 算法作为一种对抗训练的新方法，其将对抗训练视为一个离散时间微分博弈，并通过分析发现，对手的更新仅与网络的第一层参数相关。这启发我们在对手的更新过程中将大部分的前向和后向传播限制在网络的第一层内，这有效地减少了每组对手更新的完全前向和后向传播的总数，因此 YOPO 算法的计算复杂度较低，且可以取得与投影梯度下降算法（PGD）相当的防御精度。

May, 2019

本研究提出了 PaReprop 算法，该算法能够在反向传播阶段中将激活重新计算的额外计算开销与梯度计算本身并行化，实现记忆高效训练，并比普通可逆训练达到高达 20% 的更高训练吞吐量。

Jun, 2023

提出了一种新的算法 ProxProp，它通过隐式步骤而不是显式步骤更新神经网络训练期间的网络参数，该算法从后向传播算法的一般观点出发设计，将预测误差的反向传播与序列梯度下降步骤等效对应到二次惩罚能量上，具有下降方向的参数空间和与常见的一阶优化器 Adam 等相结合的优点。

Jun, 2017

使用 TinyProp 方法，在嵌入式设备上训练深度神经网络，可以显著减少计算负载和加快训练速度，同时减少了精度损失。

Aug, 2023