通过稳定性训练改善深度神经网络的鲁棒性
本文针对神经网络的稳健性和稳定性问题，提出了一种通用的训练方法，旨在使现有的神经网络架构更能够适应输入的视觉扰动，该方法无需进行数据扩充或更改网络架构。通过现有的神经网络架构实验，理论证据和实证结果证明，当使用该方法进行训练时，模型性能会显著提高，尤其是在噪声数据存在的情况下。
Nov, 2018
通过研究模型在训练过程中的随机性，我们发现在自然语言理解任务中，模型的预测结果的不稳定性会对一部分查询产生影响，提出了一种衡量稳定性现象的方法 —— 标签熵，我们研究了数据不可知的正则化方法和新的数据中心方法，发现它已在计算成本的分数中取得了 90% 的性能优势以及金标准的表现。
May, 2023
本文提出了在中间神经网络层引入数据增强以改善卷积神经网络不适用于少量像素旋转或平移的问题，并证明该方法比已有的两种方法获得更好的精度和平均翻转比。
Feb, 2022
在影像重建领域，深度学习因其在图像分类等任务中的示例成功而崭露头角，但其不稳定重建方式成为一个至关重要的问题。本文提出了一种新的稳定性测试方法，并研发了易于使用的软件，旨在帮助科学家和政府机构（如美国食品和药品管理局）确保深度学习方法的安全应用。测试发现，深度学习中的不稳定现象表现在多个方面，包括微小的扰动引起重建图像中的严重伪影，小的结构变化可能无法在重建图像中捕捉，加入更多的样本反而表现更差等等。
Feb, 2019
本文提出采用对抗性稳定性训练来提高神经机器翻译 (NMT) 模型的鲁棒性，通过使编码器和解码器在输入和其扰动版本的情况下行为相似，进而提高模型的容错性。在汉英、英德和英法翻译任务中的实验结果表明，该方法不仅可以显著提高强 NMT 系统的翻译品质，而且可以增强 NMT 模型的鲁棒性。
May, 2018
本研究探讨了使用深度学习模型进行图像重建任务时可能出现的不稳定性检测问题，并展示了如何利用不确定性量化方法作为不稳定性检测器来保证医学应用中使用基于深度学习的图像重建的安全性。
Mar, 2020
本文介绍了一种名为 “Fourier Stabilization” 的方法，使用傅里叶分析工具来设计抗拒逃避攻击的神经网络，提高了神经网络在多种安全检测环境下的鲁棒性，并证明这种方法与对抗性训练有效组成。
Jun, 2021
本文提出一种通过闭环控制方法解决神经网络鲁棒性问题的方法，通过嵌入数据流形的几何信息和优化控制，以实现对各种数据干扰的鲁棒性，本方法为通过闭环控制提高神经网络鲁棒性的首次尝试。
Feb, 2021
研究卷积神经网络的鲁棒性，证明卷积神经网络对高层卷积层内部扰动具有惊人的鲁棒性，但底层卷积层的鲁棒性较弱，对于相同的扰动会使性能急剧下降，建议进一步研究如何增强卷积神经网络对于内部扰动的鲁棒性。
Mar, 2017