本文介绍了一种名为 Checkpoint Ensembles 的技术，它能够在单个训练过程中生成集成模型，使用此技术可以解决神经网络样本数据过小、采样噪声问题导致的训练数据误差。该方法通过检查点 ensemble 的方式融合了 validation set 和 ensemble models，实验证明 Checkpoint Ensembles 的表现优于其他方法。

Oct, 2017

本文提出了一种简单而强大的自我整合对抗训练方法 (SEAT)，通过在训练数据池中加入对抗样本来提高目标模型的鲁棒性，并通过历史模型的权重平均值产生一个健壮的分类器，该方法比起其他防御策略在各种对抗攻击下提高了很多的鲁棒性

Mar, 2022

本文提出了一种名为 RSE 的新型防御算法，利用随机性和集成两个重要概念，通过向神经网络中添加随机噪声层以防止强梯度攻击，并对随机噪声预测进行集成以稳定性能，从而保护目标模型。该算法在真实数据集上表现非常优异，能够有效防御对神经网络的攻击。

Dec, 2017

本研究提出了一种名为单像素快捷方式 (OPS) 的方法，使用受保护的图像生成无法学习的数据集 CIFAR-10-S，该数据集几乎可以使训练的 CNN 模型表现得像未受过训练一样。该方法利用针对图像中单个像素的扰动，且该扰动不易被消除，并针对同一类别图像采用固定位置和目标值进行扰动生成 OPS，以极低的计算成本 (不使用 DNN 生成器) 对 CNN 模型进行攻击。

May, 2022

该研究论文探讨了对抗性样本及训练，以及如何生成更强的对抗性样本以提高鲁棒性，介绍了集成对抗性训练技术，并表明在 ImageNet 数据集上应用该技术可以显著提高模型的鲁棒性。

May, 2017

采用集成方法作为防御策略可增强神经网络在 MNIST 和 CIFAR-10 数据集中对于对抗扰动的鲁棒性。

Sep, 2017

研究通过一种名为 Learning with Ensemble Consensus (LEC) 的新训练方法解决了深度神经网络在存在标签噪声时过拟合的问题，该方法通过对众多神经网络的一定扰动下的结果进行共识，剔除出噪声样本，其中一个提出的 LEC，即 LTEC 在 MNIST，CIFAR-10，和 CIFAR-100 数据集上表现出更高的分类准确率，且效率较高。

Oct, 2019

本文提出了一种用于在小部分标记的情况下训练深度神经网络的简单高效方法，采用自我模拟方案的集成预测来提高标签的未知性，从而使得在两个标准半监督学习基准测试中加快速度并实现更好的性能。

Oct, 2016

通过对对抗样本的数据增广训练神经网络模型，以提高模型的抗干扰性，并发现通过将小型模型构成的集成模型一起进行对抗训练相比使用单个大模型的训练更有效。而重点在于对整个集成模型的对抗训练，而不是只对每个模型进行对抗训练。

Nov, 2018

本文提出了一种名为 “deep defense” 的训练方法来解决深度神经网络易受到对抗样本攻击的问题，通过将对抗扰动的正则化器与分类目标相结合，得到的模型能够直接且准确地学习抵御潜在的攻击，实验证明该方法在不同数据集上对比对抗 / Parseval 正则化方法有更好的效果。

Feb, 2018