Jun, 2020

凸松弛屏障的重新审视：用于神经网络验证的单神经元更紧凑的松弛方法

PDF
TL;DR我们通过一种新的被紧化的凸松弛优化算法来提高神经网络验证的效率，并针对 ReLU 神经元提出了一种新的凸松弛方案，使得我们在设计两种多项式时间算法，包括利用全面的松弛力量的基于线性规划的算法和快速传播算法时能够比类似算法更好地验证神经网络
发现论文，激发创造
  • 神经网络紧致鲁棒性验证的凸松弛屏障

    本文介绍一种基于凸松弛框架的神经网络强鲁棒性验证算法，通过大量实验发现该算法在已有松弛算法上并没有显著提高，提示了一类算法具有固有的严格验证难度。

    Feb, 2019

  • ReLU 网络在凸松弛下的表达能力

    通过对常用凸松弛方法进行深入研究，我们发现：（i）更高级的松弛方法允许更多单变量函数被精确分析的 ReLU 网络表达，（ii）更精确的松弛方法能够允许指数级规模的解空间编码相同函数的 ReLU 网络，以及（iii）即使使用最精确的单神经元松弛方法，也无法构建能够精确分析多变量凸、单调的分段线性函数的 ReLU 网络。

    Nov, 2023

  • 利用稀疏对偶算法扩展凸壳

    论文提出了两种新的双重算法来解决神经网络边界问题，这些算法可以更紧密地边界和验证神经网络，同时具有之前方法的优点，可以更高效地获得更好的验证结果。

    Jan, 2021

  • 神经网络非线性规范的验证

    本文介绍在神经网络验证中如何利用凸松弛来证明一系列比较丰富的非线性规约，包括物理系统学习到的动力学模型的能量守恒，分类器的输出标签在对抗性扰动下的语义一致性以及预测手写数字求和的系统所包含的误差等，实验验证了该方法的有效性。

    Feb, 2019

  • 神经网络中 S 形非线性函数的线性界限函数自动设计

    通过使用一种简单的搜索方法，精心地根据最先进的算法配置技术调整给定的验证问题，我们提出了一种新颖的参数搜索方法来改进这些线性逼近的质量，进而在几个常用的本地鲁棒性验证基准上平均提高了 25% 的全局下界。

    Jun, 2024

  • 多神经元松驰引导支配界分支定界的完全验证

    提出一种结合多神经元松弛和分支定界 (并运用基于 GPU 的优化器) 的神经网络验证器，将先前的优势综合以解决较大和较有挑战性的网络问题，并在多个基准测试中取得最新的最佳结果。

    Apr, 2022

  • ReLU 神经网络的凸松弛在多项式时间内近似全局最优

    本文研究了采用权重衰减正则化的两层 ReLU 网络与其凸松弛之间的最优性差距，揭示了在随机训练数据情况下原问题与其松弛之间相对最优性差距可以通过 O (√log n) 的因子进行界定，且应用简单的算法可在多项式时间内解决原非凸问题，此外，在合理假设下，随机初始化参数的局部梯度方法几乎必定收敛于训练损失较低点，此结果相对现有结果而言具有指数级改进，并对解释局部梯度方法为何行之有效提供了新的见解。

    Feb, 2024

  • 利用凸神经网络打破维度诅咒

    研究神经网络单隐层的一般化性能，使用非欧几里得正则化工具，证明了它们适应未知的线性结构，而使用稀疏感应规范则可以实现高维非线性变量选择，提供了简单的几何解释，并提供了一些凸松弛的简单条件来实现相同的一般化误差界限，留下存在或不存在多项式时间算法的问题。

    Dec, 2014

  • 半定松弛用于证实对抗样本鲁棒性的严密度研究

    通过解决凸松弛，可以证明神经网络对抗性示例的鲁棒性。最近，提出了一种基于半定编程松弛的较少保守的鲁棒性证明方法。本文提出一种几何技术，用于确定该 SDP 证书是否是精确的，并在单隐藏层下证明该证书的精确性，并验证其理论洞见。

    Jun, 2020

  • 神经网络是凸正则化器：两层神经网络的精确多项式时间凸优化公式

    本文中，我们利用半无限对偶及最小规范化，将使用修正线性单元的两层神经网络的训练准确表述为单一凸程序，其变量数量与训练样本数量和隐藏层神经元数量呈多项式关系，并证明使用标准权重衰减进行修正线性单元网络训练的等效于带块 $l_1$ 惩罚的凸模型。此外，我们还证明了某些标准卷积线性网络等效于半定程序，可以在多项式大小的离散傅里叶特征空间中简化为带 $l_1$ 正则化的线性模型。

    Feb, 2020