Oct, 2024

收紧训练神经网络的凸松弛：适用于凸形和S形激活的统一方法

HTML
PDF
TL;DR该研究解决了训练神经网络的非凸特性给优化模型带来的挑战。通过提出一种递归公式，该方法针对多种激活函数（如凸形和S形）提供了紧致的凸化，以便更高效地计算分离超平面并处理非多面体情况。实验结果表明，这些凸近似方法在应用中具有显著的实证优势。
发现论文，激发创造
  • 利用凸神经网络打破维度诅咒

    研究神经网络单隐层的一般化性能，使用非欧几里得正则化工具，证明了它们适应未知的线性结构，而使用稀疏感应规范则可以实现高维非线性变量选择，提供了简单的几何解释，并提供了一些凸松弛的简单条件来实现相同的一般化误差界限，留下存在或不存在多项式时间算法的问题。

    Dec, 2014

  • 神经网络紧致鲁棒性验证的凸松弛屏障

    本文介绍一种基于凸松弛框架的神经网络强鲁棒性验证算法，通过大量实验发现该算法在已有松弛算法上并没有显著提高，提示了一类算法具有固有的严格验证难度。

    Feb, 2019

  • 凸松弛屏障的重新审视：用于神经网络验证的单神经元更紧凑的松弛方法

    我们通过一种新的被紧化的凸松弛优化算法来提高神经网络验证的效率，并针对 ReLU 神经元提出了一种新的凸松弛方案，使得我们在设计两种多项式时间算法，包括利用全面的松弛力量的基于线性规划的算法和快速传播算法时能够比类似算法更好地验证神经网络

    Jun, 2020

  • 全局凸优化：通过神经半定程序提升多项式激活神经网络的神经谱聚合

    本文提出了基于半定规划的二层神经网络的精确凸优化公式，可在多种神经网络体系结构中实现全局最优解，相比标准反向传播方法速度更快且准确性更高。

    Jan, 2021

  • 利用稀疏对偶算法扩展凸壳

    论文提出了两种新的双重算法来解决神经网络边界问题，这些算法可以更紧密地边界和验证神经网络，同时具有之前方法的优点，可以更高效地获得更好的验证结果。

    Jan, 2021

  • 两层ReLU网络的快速凸优化：等价模型类和锥分解

    本文研究了基于ReLU激活函数的两层神经网络的凸优化及其群lasso正则化和加速近端梯度算法，该方法在MNIST和CIFAR-10数据集的图像分类方面表现良好。

    Feb, 2022

  • ReLU网络在凸松弛下的表达能力

    通过对常用凸松弛方法进行深入研究，我们发现：（i）更高级的松弛方法允许更多单变量函数被精确分析的ReLU网络表达，（ii）更精确的松弛方法能够允许指数级规模的解空间编码相同函数的ReLU网络，以及（iii）即使使用最精确的单神经元松弛方法，也无法构建能够精确分析多变量凸、单调的分段线性函数的ReLU网络。

    Nov, 2023

  • 神经网络的凸优化景观：通过Lasso模型表征全局最优和稳定点

    通过使用凸优化理论和稀疏恢复模型来改进神经网络的训练过程，并对其最优权重提供更好的解释，我们的研究侧重于以分段线性激活函数构建的两层神经网络的训练，证明了这些网络可以表达为一个有限维的凸规划问题，其中包括促使稀疏性的正则化项，构成Lasso的变种。通过大量的数值实验，我们展示了凸模型可以胜过传统非凸方法，并且对于优化器的超参数并不敏感。

    Dec, 2023

  • 用于训练两层ReLU神经网络的凸优化公式

    本文针对训练机器学习模型，特别是神经网络中存在的非凸优化问题进行了研究，强调了使用凸优化公式的必要性。作者提出了一种将无限宽度的两层ReLU网络训练问题重构为一个有限维度空间的凸完全正程序的方法，并引入了一种半正定松弛来提高计算效率。研究结果表明，该松弛在分类任务上的测试准确率表现优异，显示了其应用潜力。

    Oct, 2024

  • 一种凸放松方法用于并行正齐次网络的泛化分析

    本研究解决了并行正齐次神经网络的泛化界限推导问题，提出了一种新的框架，通过将非凸经验风险最小化问题与相关的凸优化问题联系起来，提供了可实现的全局下界。该框架的应用使得在多种模型中实现了样本复杂度与网络宽度几乎线性缩放的泛化界限，具有重要的理论和实际意义。

    Nov, 2024