本文提出了利用 Lipschitz 连续性作为二进制神经网络 (BNN) 模型鲁棒性的准确度量标准，并通过正则化方法，采用保留矩阵来近似目标权重矩阵的谱范数，以强化二进制神经网络的鲁棒性。实验证明，该方法在 CIFAR 和 ImageNet 数据集上能够达到最先进水平的性能。

Jul, 2022

本文研究了 Lipschitz 连续模型在基于模型的强化学习中的影响。我们提供了一个新的多步预测误差界限，用 Wasserstein 度量来量化误差。我们证明了 Lipschitz 模型所引起的价值函数估计误差界限，并表明估计值函数本身是 Lipschitz 的。最后，我们提供了实证结果，表明控制神经网络模型的 Lipschitz 常数的好处。

Apr, 2018

本文研究基于 Rademacher 复杂度和平方根标量损失函数的 Lipschitz 常数，以高斯数据的泛化一致性保证为例，并处理了广泛的平方根 Lipschitz 损失函数的类别，包括适用于相位恢复和 ReLU 回归的非平滑损失函数，从而重新推导和更好地理解 “乐观率” 和插值学习保证。

Jun, 2023

研究神经网络与输入的 Lipschitz 连续性约束，提供一种计算前馈神经网络 Lipschitz 常数上界的简单技术，进而以受限优化问题的形式训练神经网络并使用投影随机梯度方法求解，实验证明该方法优于其他常用规则化器，特别是在仅有少量训练数据时。

Apr, 2018

通过保证每个单独的仿射转换或者非线性激活函数为 1-Lipschitz 可实现神经网络模型的可证对抗鲁棒性、泛化上界、可解释梯度和 Wasserstein 距离的估算。本文提出了基于保持反向传播梯度范数的架构条件以及结合保持梯度范数的激活函数（GroupSort）和约束权重矩阵的方法，证明了约束权重矩阵的 GroupSort 网络是普遍的 Lipschitz 函数逼近器并实现了比其 ReLU 对应部分更紧的的 Wasserstein 距离估算。

Nov, 2018

本文提出了一个基于图的学习框架来训练在对抗扰动下具有稳健性的模型，并通过 Lipschitz 约束将对抗性稳健学习问题形式化为损失最小化问题，设计了一个稳健训练方案来收敛到拉格朗日函数的鞍点。 最终通过实验表明，在达到期望的标准表现的同时提高模型的稳健性存在一定的基本下限。

Jun, 2020

研究了具有 Lipschitz 损失函数的高维广义线性模型，并证明了带有 Lasso 惩罚项的经验风险最小化算子的非渐进性 oracle 不等式。惩罚项是基于线性预测中的系数，在经验规范化后计算。研究包括逻辑回归、密度估计、带有 Hinge 损失的分类和最小二乘回归。

Apr, 2008

通过用布尔函数表示方法，研究证明了标准 Lipschitz 网络无法在有限数据集和 Lipschitz 函数逼近上进行鲁棒分类。提出了一种新的 Lipschitz 网络方法并通过实验验证了鲁棒性。

Oct, 2022

研究使用经验风险最小化解决预测和估计问题，针对一般凸损失函数。我们证明了即使当集中度是错误的或非常受限制的情况下，例如在重尾场景中，我们也可以获得尖锐的误差率。我们的结果表明，误差率取决于两个参数：一个捕捉类别的内在复杂性，以实质上在无噪声（或可实现）问题中导致误差率；另一个衡量类成员之间的交互、目标和损失，并且在问题远离可实现时是主导的。我们还解释了如何选择与类的内在复杂性和问题噪声水平相 calibrated 的损失来处理离群值。

Oct, 2014

本文提出了一种基于大偏差理论的模型平滑性的新颖描述方法，通过这种平滑性描述方法，阐述了为什么某些插值器能够表现出良好的泛化能力的统一理论解释，以及为什么一系列现代学习技术（如随机梯度下降，$L_2$- 范数正则化，数据增强，不变性结构和过度参数化）都能够发现这些插值器。这些方法提供了互补的程序，使优化器能够偏向更加平滑的插值器，而在这种理论分析下，这些插值器具有更好的泛化误差。

Jun, 2023