本文研究了神经网络的局部 Lipschitz 常数及其在鲁棒性、泛化性和公平性评估中的应用，提出将非光滑向量值函数的局部 Lipschitz 常数与广义 Jacobian 范数最大化相关联的新颖分析结果，并给出适用于广义 Jacobian 的反向传播的充分条件。同时，提出了一种算法来精确计算 ReLU 网络的 Lipschitz 常数，用于评价竞争 Lipschitz 估计量的紧密度和正则化训练对 Lipschitz 常数的影响。

Mar, 2020

本文提供了两种计算和证明最小失真非平凡下界的算法 Fast-Lin 和 Fast-Lip，可以用于解决具有 ReLU 结构的神经网络的鲁棒性问题。相比于现有的解决方法，这两种方法计算速度更快，下界的质量更高，同时作者还证明了除非 NP=P，否则无法用多项式时间算法求解最小的 l1 失真。

Apr, 2018

本文提出了一种训练算法插件，可以有效地减小神经网络的局部 Lipschitz 上界，以提高神经网络的自然精度和可证明的精度之间的权衡，并在 MNIST、CIFAR-10 和 TinyImageNet 数据集上展示了该方法在不同网络结构下均能优于现有的最先进方法。[Simplified Chinese]

Nov, 2021

神经网络对输入的微小敌对扰动非常敏感，该研究在随机 ReLU 神经网络（即权重随机选择并使用 ReLU 激活函数的神经网络）中研究了 Lipschitz 常数，并在浅层神经网络中表征了 Lipschitz 常数，而在足够宽的深层神经网络中证明了 Lipschitz 常数的上下界。这些边界在深度上存在对数因子的匹配。

Nov, 2023

本文提出了一种基于凸优化框架和半定规划的方法，用于计算 DNNs 的 Lipschitz 常数的保证上界，通过描述激活函数的性质，使得算法具有较高的准确性和可伸缩性，实验证明该方法的 Lipschitz 边界最准确，可用于有效提供稳健性保证。

Jun, 2019

本文研究使用带有 ReLU 的深度神经网络能够代表的函数家族，提供了一个训练一个 ReLU 深度神经网络的一种算法，同时提高了在将 ReLU 神经网络函数逼近为浅层 ReLU 网络时已知下限的上界，并证明了这些间隙定理。

Nov, 2016

通过 ReLU 神经网络，我们考虑了一类具有较小正则性假设的有界函数的逼近问题。我们展示了逼近误差可以由目标函数的均匀范数和网络宽度与深度的乘积的倒数来上界。我们从傅里叶特征残差网络中继承了这个逼近误差界，傅里叶特征残差网络是一种使用复指数激活函数的神经网络。我们的证明是具有建设性的，并通过对傅里叶特征残差网络逼近 ReLU 网络的复杂性分析进行。

May, 2024

我们通过导出上下界的极小极大逼近误差，确定了基于有限精度权重的深度 ReLU 神经网络逼近 Lipschitz 函数的三种情况：欠量化、过量化和适当量化。乍一看，深度网络在逼近 Lipschitz 函数时表现出内在的记忆有效性，与浅层网络相比，具有固有优势。此外，我们还发展了深度和精度之间的权衡概念，表明具有高精度权重的网络可以转化为具有低精度权重的功能等效更深层的网络，并保持记忆有效性。这个想法类似于 sigma-delta 模数转换，在信号样本的量化中超采样率与分辨率之间进行权衡。我们改进了对 Lipschitz 函数的 ReLU 网络逼近结果，并描述了一种独立通用的位提取技术的改进。

May, 2024

研究一维 Lipschitz 函数的逼近中，深层 ReLU 网络比浅层网络更有效地逼近光滑函数，采用自适应深度 6 网络体系结构比标准浅层网络更有效。

Oct, 2016

本研究提出了一种变分框架来学习深度神经网络的激活函数，旨在增加网络的容量并控制输入输出关系的 Lipschitz 常数的上界，其中引入了线性 Lipschitz 常数的全局界限和一个基于级联线性激活函数的无穷维度变分问题，通过在激活参数上实施 l1 约束来减少了问题的维度，从而获得了稀疏的非线性激活函数，并在标准 ReLU 网络及其变化 PReLU 和 LeakyReLU 上进行了实验验证。

Jan, 2020