生成模型的可证明利普希茨证书
本论文提出了一种可扩展的证明方法 ——ApproxLine,可用于验证涉及生成模型和分类器的非平凡规范,并提供有限的非凸集合或这些集合上的分布的确定性和概率保证。
Apr, 2020
通过开发一个鲁棒的训练算法和有效计算神经网络的 Lipschitz 常数的方法,可以直接操控输入空间的决策边界,提高深度分类器对抗性扰动的鲁棒性。在 MNIST、CIFAR-10 和 Tiny-ImageNet 数据集上的实验证实了该算法的竞争性改进。
Sep, 2023
本文提出了一种训练算法插件,可以有效地减小神经网络的局部 Lipschitz 上界,以提高神经网络的自然精度和可证明的精度之间的权衡,并在 MNIST、CIFAR-10 和 TinyImageNet 数据集上展示了该方法在不同网络结构下均能优于现有的最先进方法。[Simplified Chinese]
Nov, 2021
通过放宽网络最后一层的正交化约束,证明了 1-Lipschitz CNN 的鲁棒性,此外还引入了新的梯度规范化激活函数和证明规则,有效提高了 CIFAR 数据集上的准确率。
Aug, 2021
通过使用新技术、设计优化和先前工作的综合综合,我们能够显著提高确定性认证方法在各种基准数据集上的最新鲜准确性,并扩展了扰动范围大小,尤其是通过在现有最新雅可比约束控制的 ResNet 架构末端添加大型 “Cholesky - 正交化残差稠密” 层,以增加网络容量和性能,再结合过滤的生成数据增强,最终结果比确定性认证方法的最新准确性提高 8.5 个百分点。
Oct, 2023
本文研究了基于 Lipschitz 界限的量子机器学习中的对抗鲁棒性和泛化性质,导出了适用于具有可训练编码的量子模型的定制参数相关的 Lipschitz 界限,并展示了数据编码的范数对于抵抗输入数据扰动的鲁棒性具有关键影响。此外,我们导出了一个关于泛化误差的界限,明确取决于数据编码的参数。我们的理论发现提供了一种实用的策略,即通过在代价函数中规范化 Lipschitz 界限来训练鲁棒且具有泛化能力的量子模型。此外,我们表明,对于在量子机器学习中经常使用的固定且不可训练的编码,Lipschitz 界限无法通过调整参数来影响。因此,在训练过程中,可训练编码对于系统地调整鲁棒性和泛化性是至关重要的。通过数值结果的验证,我们展示了 Lipschitz 界限的规范化显著提高了量子模型的鲁棒性和泛化能力。
Nov, 2023
通过保证每个单独的仿射转换或者非线性激活函数为 1-Lipschitz 可实现神经网络模型的可证对抗鲁棒性、泛化上界、可解释梯度和 Wasserstein 距离的估算。本文提出了基于保持反向传播梯度范数的架构条件以及结合保持梯度范数的激活函数(GroupSort)和约束权重矩阵的方法,证明了约束权重矩阵的 GroupSort 网络是普遍的 Lipschitz 函数逼近器并实现了比其 ReLU 对应部分更紧的的 Wasserstein 距离估算。
Nov, 2018
研究神经网络与输入的 Lipschitz 连续性约束,提供一种计算前馈神经网络 Lipschitz 常数上界的简单技术,进而以受限优化问题的形式训练神经网络并使用投影随机梯度方法求解,实验证明该方法优于其他常用规则化器,特别是在仅有少量训练数据时。
Apr, 2018
针对神经网络模型在输入数据遭到恶意篡改时的高敏感度,提出一种能够证明防御网络免受攻击的模型的构建方法,通过计算 Lipschitz 常数与预测边界之间的关系,提出一种计算有效的对不同的复杂网络广泛适用的鉴别器大小的方法,并提出一种有效的训练程序,提高数据点周围可证明的保护区域和网络的鲁棒性。
Feb, 2018
通过用布尔函数表示方法,研究证明了标准 Lipschitz 网络无法在有限数据集和 Lipschitz 函数逼近上进行鲁棒分类。提出了一种新的 Lipschitz 网络方法并通过实验验证了鲁棒性。
Oct, 2022