本研究通过对深度学习模型的多方面度量，特别是模型对输入扰动的敏感性度量，研究了大规模的、过度参数化的神经网络与小规模的夹杂网络的复杂度与泛化之间的紧张关系，并得出结论：训练的神经网络在其训练数据范围内更加鲁棒，这种鲁棒性与泛化能力有关联，而诸如数据扩增和修正线性单元等好的泛化因素会带来更强的鲁棒性。

Feb, 2018

本文旨在通过设计包含不同时简单性的多个预测特征的数据集，捕捉实际训练数据中的非鲁棒性，从理论和实证研究中发现简洁性偏见在训练神经网络中的作用及其对泛化和鲁棒性的影响，提出新算法以避免简洁性偏见的缺陷。

Jun, 2020

本文针对强化学习中的深度神经网络，提出了一种能够直接认证总奖励且无需在每一时间步骤都保持鲁棒性的有效方法，其中使用了采样平滑和基于样条插值的鲁棒性证明。

Jun, 2021

本文提出一种改进的min-max网络架构，使用严格单调递增光滑非线性函数来缓解梯度消失问题，以支持计算机辅助决策中的公平性，并在数据驱动的科学模型中增加可信度，其性能表现优于其他神经网络和非神经网络方法。

Jun, 2023

本文提出了一种基于大偏差理论的模型平滑性的新颖描述方法，通过这种平滑性描述方法，阐述了为什么某些插值器能够表现出良好的泛化能力的统一理论解释，以及为什么一系列现代学习技术（如随机梯度下降，$L_2$-范数正则化，数据增强，不变性结构和过度参数化）都能够发现这些插值器。这些方法提供了互补的程序，使优化器能够偏向更加平滑的插值器，而在这种理论分析下，这些插值器具有更好的泛化误差。

Jun, 2023

通过研究梯度下降算法以及解决离散化漂移问题，从而改善深度学习中的优化和模型正则化，以及探索平滑正则化与优化之间的相互作用。

Oct, 2023

本章探索了机器学习（ML）中鲁棒性的基本概念及其在建立可信人工智能（AI）系统中的关键作用。讨论从详细定义鲁棒性开始，描绘了ML模型在各种意外环境条件下保持稳定性能的能力。通过不同视角剖析ML鲁棒性：与泛化能力的互补性，作为可信AI的要求，对抗性与非对抗性方面，定量评价指标，以及可重复性和可解释性等指标。本章深入探讨了影响鲁棒性的因素，如数据偏差、模型复杂性和不规范的ML流程的陷阱。从广泛的角度调查了鲁棒性评估的关键技术，包括对抗性攻击，包括数字和物理领域。它还涵盖了非对抗性数据转移和深度学习（DL）软件测试方法的细微差别。讨论进一步探索了增强鲁棒性的改进策略，从以数据为中心的方法如去偏和增强开始。进一步的研究包括各种以模型为中心的方法，如迁移学习、对抗训练和随机平滑等。最后，讨论了训练后方法，包括集成技术，修剪和模型修复，作为提高模型对不可预测因素的适应性的经济有效策略。本章强调现有方法对ML鲁棒性的估计和实现所面临的挑战和局限性，并为未来关于这一关键概念的研究提供了洞见和方向，作为可信AI系统的先决条件。

Apr, 2024

本研究针对现有在线学习方法中对梯度光滑性的固定限制提出了问题，探索了一种广义平滑性条件下的梯度变化在线学习方法。通过扩展经典的乐观镜像下降算法，本文提出了一种在未预知曲率信息的情况下，能够同时具备最优梯度变化遗憾的单一算法结构。研究结果在快速收敛游戏和随机扩展对抗优化中具有重要的应用潜力。

Aug, 2024

本研究解决了深度学习中的非凸光滑优化问题所带来的挑战。通过讨论、排序和评估新提出的光滑性条件，本文提供了判断这些条件是否成立的准则，并探讨它们在深度线性神经网络二分类训练中的应用。研究发现，这些光滑性条件能够显著提升模型的训练效果，展示了其潜在的应用价值。

Sep, 2024

本研究针对当前对抗性模型鲁棒性的主流方法提出了改进，通过仅对自然样本的梯度进行正则化来增强模型的平滑性。研究表明，这种方法在现代视觉变换器中表现优异，能在显著降低计算成本的同时，接近最先进的对抗训练性能，从而为模型鲁棒性提供了新的见解。

Sep, 2024