探究防御技术对卷积神经网络中似然地形的影响，发现其中的某些防御技术会使地形变平，进一步探索直接面向平坦的地形进行对抗鲁棒性的规范化。

Aug, 2020

通过分析嵌入的黎曼流形的微分几何性质，我们研究了损失景观，并展示了与潜在推理相关的几个设置之间的联系。

Jul, 2023

本文通过可视化方法探讨神经网络损失函数的结构和损失景观对泛化的影响，提出了一种简单的 “滤波器归一化” 方法来可视化损失函数曲率并对损失函数进行有意义的比较。然后，利用各种可视化方法，探索网络结构如何影响损失景观，以及训练参数如何影响最小化器的形状。

Dec, 2017

本文研究了对抗训练对分类景观和决策边界几何形态的影响，展示了对抗训练导致的输入空间曲率减少及网络更 “线性” 行为的结果。我们提出一个直接最小化损失面曲率的新的规则化方法，并提供了理论上的证据表明大鲁棒性与小曲率之间存在强关联。

Nov, 2018

研究表明，深度神经网络模型具有很好的泛化能力，其优秀的泛化能力是来自于损失函数的加权局部最小值及其优化方法。

Jun, 2017

本文研究神经网络广义化的一个假说，指出参数空间的损失曲面与广义化并没有明显关系，而在对抗特性下，决策面在输入空间的几何性质与对抗稳健性相关，进而提出了一个对抗稳健性指标和相应的对抗训练方法，可提高神经网络对各种对抗攻击的稳健性，无需对抗性训练。

Sep, 2018

本文研究了通过对抗性样本训练神经网络的鲁棒性问题，提出了通过实现加权损失对抗扰动机制进行对抗性训练的方案，从而解决了加权损失在以往对抗性训练中的不足。

Apr, 2020

本文研究了 Robust Generalization 与 Robust Loss Landscape 的关系，设计了衡量该 Landscape 平坦性的度量，并验证了平坦的 Landscape 有助于提高 Adversarial Training 的鲁棒性与泛化性能。

Apr, 2021

本文通过一个统一的现象学模型来解释深度神经网络优化过程中的一些令人惊讶、或者说是违反直觉的特性，其中高维度发挥了关键作用，通过将损失函数的空间看作是一系列高维楔形图的集合，揭示了优化算法收敛过程的内在规律，最终还研究了一些深度网络的集成技术。

Jun, 2019

本论文研究了一种泛用的对抗训练算法的泛化性能，并考虑了线性回归模型和两层神经网络（使用平方损失）在低维和高维情况下的表现，其中，我们发现数据内插会防止对抗性鲁棒估算器的一致性，因此，我们引入 L1 惩罚，在高维对抗学习中，证明了它可以导致一致的对抗性鲁棒估计。

Aug, 2020