神经网络中梯度平滑的公理化
通过研究使用神经切向核（NTK）优化方法来训练的网络，本文对使用梯度下降训练的网络建立了类似的结果，以扩展逼近结果的平滑性，从而显示了这两种理论的兼容性。
May, 2024
通过实例推导得到一个新的平滑度条件 - 梯度平滑度随着梯度范数增大而增大，进一步推出了一种新的梯度平滑弱化条件，这使得旧行业标准的梯度下降优化算法可以进行改进。我们证明，这种新条件下的梯度削减和标准化梯度方法的收敛速度可任意加快，并在流行的神经网络训练环境下进行了实证验证。
May, 2019
研究了梯度下降算法在同质神经网络中的隐式正则化，重点研究了 optimizing the logistic loss or cross-entropy loss of any homogeneous model，探讨了规范化边缘的平滑版本，形成了一个关于边缘最大化的优化问题，给出了算法的渐进性能， 并讨论了通过训练提高模型鲁棒性的潜在好处。
Jun, 2019
本研究探讨了机器学习模型对输入变化的灵敏度，阐述了模型平滑性的重要性以及在一般化、对抗性鲁棒性、生成建模和强化学习方面的作用，并探索了现有的平滑性约束方法，并认为其缺乏适应于新任务、不考虑数据模态、与损失、构架和优化方式的交互等问题。本文的结论是，将数据、任务和学习过程整合到模型平滑的定义中是促进领域新进展的关键所在。
Dec, 2020
该文章提出了一种用于改善深度神经网络中当前解释工具易受攻击的局限性的正则化方法（包括 Lipschitz 连续性的条件）和随机平滑技术，并在各种图像模型上进行实验以验证其效果和证明平滑几何在这些对真实大规模模型的攻击中所起的作用。
Jun, 2020
本研究分析图神经网络在层数增加时出现的过度平滑现象，通过使用增广归一化拉普拉斯矩阵的频谱确定权重矩阵的条件，来说明当嵌入的狄利克雷能量收敛于零时，图嵌入的区分能力会丧失。通过使用狄利克雷能量来衡量嵌入的表达能力，可以得到比已有研究更简单的证明，并可处理更多的非线性问题。
Jun, 2020
本研究基于 $K$-functional 得出的近似结果，探索了定义在图上的函数的近似理论，并建立了使用图卷积网络（GCNs）评估目标函数近似的下界的理论框架，并研究了 GCNs 中通常观察到的过度平滑现象。
Jul, 2024