利用稀疏对偶算法扩展凸壳
我们通过一种新的被紧化的凸松弛优化算法来提高神经网络验证的效率,并针对 ReLU 神经元提出了一种新的凸松弛方案,使得我们在设计两种多项式时间算法,包括利用全面的松弛力量的基于线性规划的算法和快速传播算法时能够比类似算法更好地验证神经网络
Jun, 2020
该论文介绍了一种新的 SDP 算法,利用迭代特征向量方法将其各种操作表达为网络正反向传播。在 MNIST 和 CIFAR-10 数据集上的两个验证矢量网络中,将 L-inf 的验证鲁棒准确性从 1%提高到 88%和从 6%提高到 40%
Oct, 2020
通过使用一种简单的搜索方法,精心地根据最先进的算法配置技术调整给定的验证问题,我们提出了一种新颖的参数搜索方法来改进这些线性逼近的质量,进而在几个常用的本地鲁棒性验证基准上平均提高了 25% 的全局下界。
Jun, 2024
通过解决凸松弛,可以证明神经网络对抗性示例的鲁棒性。最近,提出了一种基于半定编程松弛的较少保守的鲁棒性证明方法。本文提出一种几何技术,用于确定该 SDP 证书是否是精确的,并在单隐藏层下证明该证书的精确性,并验证其理论洞见。
Jun, 2020
本文提出了一种原始 - 对偶算法框架,以获得近似解决方案来解决典型的约束凸优化问题,并严格描述了常见结构假设如何影响数值效率。通过选择双重平滑策略和中心点,我们的框架将分解算法、增广 Lagrange 以及交替方向乘子方法作为其特殊情况,并为所有迭代的原始目标残差和原始可行性间隙提供最优收敛速率。
Jun, 2014
提出一种结合多神经元松弛和分支定界 (并运用基于 GPU 的优化器) 的神经网络验证器,将先前的优势综合以解决较大和较有挑战性的网络问题,并在多个基准测试中取得最新的最佳结果。
Apr, 2022
本文提出了批处理和随机的原始 - 对偶算法,可以自适应地利用数据的强凸性,即使在没有正则化的情况下也能实现线性收敛,并介绍了适用于逻辑回归的免双重正演算法。
Mar, 2017
本文提出了一种使用凸整数规划框架来导出 Sparse PCA 的对偶界限的方法,包括在标准半定编程(SDP)松弛中获得对偶界限的双重界限,并将其进一步放松为凸整数编程。此方法表现出在高维数据集上表现的能力, 尤其是与 SDP 松弛相比,可以通过商业整数规划求解器更好地扩展。
Oct, 2018