关于卷积神经网络 Lipschitz 界的研究
本文提出了利用 Lipschitz Bound Estimation 保证深度神经网络对抗攻击鲁棒性的有效方法,并通过图形分析支持 CNN 获得非平凡 Lipschitz constant 的困难。同时,采用 Toeplitz 矩阵将 CNN 转换为完全连接的网络,并运用实验证明了在特定数据分布中实际 Lipschitz constant 与获得紧密界定之间存在的 20-50 倍的差距。针对不同网络架构在 MNIST 和 CIFAR-10 上进行全面实验和比较分析。
Jul, 2022
本文讨论卷积神经网络的稳定性,以及基于 Lipschitz 性质的特征提取和分类方法,计算了 Lipschitz 边界并将其值与其他方法进行了比较,验证了 Lipschitz 边界计算方法的优越性。
Jan, 2017
通过引入一个分割大卷积块为多个小块的方法,本研究提出了一种加速卷积神经网络 Lipschitz 常数估计的方法,通过调整分割因子,可以平衡准确度和可伸缩性,并且在一系列实验中展示出比现有基准方法更好的可伸缩性和可比的准确度。
Mar, 2024
本文基于 CIFAR-10 数据集的实验结果,提出卷积神经网络泛化误差的边界,包含训练损失、参数数量、损失函数的 Lipschitz 常数和权重与初始值的距离,且不受输入像素数和隐藏特征图的高度与宽度限制,最后与具体的实验结果进行对比。
May, 2019
本研究提出了新的平衡神经网络参数化方法,该方法可以实现在训练期间的 Lipschitz bound 并提升强健性,并通过建立与凸优化、非欧几里得空间上的算子分裂和收缩神经微分方程的新连接来证明这些结果,在图像分类实验中表现出非常高的准确性和抵御对抗性攻击的能力。
Oct, 2020
卷积神经网络的近似和学习能力的研究,证明了满足权重约束的卷积神经网络的新逼近界限,并给出了覆盖神经网络的新分析,从而得到了更好的收敛界限,并利用这两个结果在许多学习问题中推导了基于卷积神经网络的估计器的收敛速度,对于学习平滑函数的非参数回归设置和二元分类中的卷积神经网络分类器的 Hinge 损失和 Logistic 损失,得到了最优的收敛速度。
Mar, 2024
研究神经网络与输入的 Lipschitz 连续性约束,提供一种计算前馈神经网络 Lipschitz 常数上界的简单技术,进而以受限优化问题的形式训练神经网络并使用投影随机梯度方法求解,实验证明该方法优于其他常用规则化器,特别是在仅有少量训练数据时。
Apr, 2018
本文提出了一种基于凸优化框架和半定规划的方法,用于计算 DNNs 的 Lipschitz 常数的保证上界,通过描述激活函数的性质,使得算法具有较高的准确性和可伸缩性,实验证明该方法的 Lipschitz 边界最准确,可用于有效提供稳健性保证。
Jun, 2019
通过 Block Convolution 正交参数化的方法,我们可以训练具有可证明的 Lipschitz 界限的大型卷积神经网络,其表现与现有方法相当,实用性强。
Nov, 2019
通过研究 GNN Lipschitz 界限对非欧几里德数据的作用,调查 GNN 模型输出稳定性,并通过对公平训练中学习到的偏见进行实验验证 Lipschitz 边界的有效性,最终展示理论 Lipschitz 边界在 GNN 训练中如何有效平衡准确性和公平性。
Sep, 2023