Jan, 2021

全局凸优化：通过神经半定程序提升多项式激活神经网络的神经谱聚合

PDF
TL;DR本文提出了基于半定规划的二层神经网络的精确凸优化公式，可在多种神经网络体系结构中实现全局最优解，相比标准反向传播方法速度更快且准确性更高。
two-layer neural networksnonlinear activation functionssemidefinite programmingconvex optimization formulationsglobal optimal solution
发现论文，激发创造
  • 通过凸优化对两层多项式和 ReLU 激活网络进行对抗训练

    训练神经网络，使其对抗性攻击具有鲁棒性，特别是在采用过度参数化的模型进行安全关键设置时，仍然是深度学习中的一个重要问题。

    May, 2024

  • 应用非线性谱方法全局最优训练广义多项式神经网络

    本研究提出了一种非线性谱方法用于全局优化某类前馈神经网络，在弱数据假设下可以实现全局最优解，而不需要手动参数调整，这是首个实际可行的具有全局最优性保证的方法。

    Oct, 2016

  • 神经网络是凸正则化器：两层神经网络的精确多项式时间凸优化公式

    本文中，我们利用半无限对偶及最小规范化，将使用修正线性单元的两层神经网络的训练准确表述为单一凸程序，其变量数量与训练样本数量和隐藏层神经元数量呈多项式关系，并证明使用标准权重衰减进行修正线性单元网络训练的等效于带块 $l_1$ 惩罚的凸模型。此外，我们还证明了某些标准卷积线性网络等效于半定程序，可以在多项式大小的离散傅里叶特征空间中简化为带 $l_1$ 正则化的线性模型。

    Feb, 2020

  • 利用二次约束和半定规划进行神经网络的安全验证和鲁棒性分析

    通过半定规划的框架来解决对于神经网络在输入不确定性和对抗攻击下的安全性和强鲁棒性认证的问题，通过抽象出激活函数的各种性质，分析其安全性质，解决了保守性和计算效率的平衡问题，并且可以应用于安全认证以外的问题。

    Mar, 2019

  • 神经网络的凸优化景观：通过 Lasso 模型表征全局最优和稳定点

    通过使用凸优化理论和稀疏恢复模型来改进神经网络的训练过程，并对其最优权重提供更好的解释，我们的研究侧重于以分段线性激活函数构建的两层神经网络的训练，证明了这些网络可以表达为一个有限维的凸规划问题，其中包括促使稀疏性的正则化项，构成 Lasso 的变种。通过大量的数值实验，我们展示了凸模型可以胜过传统非凸方法，并且对于优化器的超参数并不敏感。

    Dec, 2023

  • 通过内存高效的半定规划使验证无关网络实现认证

    该论文介绍了一种新的 SDP 算法，利用迭代特征向量方法将其各种操作表达为网络正反向传播。在 MNIST 和 CIFAR-10 数据集上的两个验证矢量网络中，将 L-inf 的验证鲁棒准确性从 1％提高到 88％和从 6％提高到 40％

    Oct, 2020

  • ReLU 神经网络的凸松弛在多项式时间内近似全局最优

    本文研究了采用权重衰减正则化的两层 ReLU 网络与其凸松弛之间的最优性差距，揭示了在随机训练数据情况下原问题与其松弛之间相对最优性差距可以通过 O (√log n) 的因子进行界定，且应用简单的算法可在多项式时间内解决原非凸问题，此外，在合理假设下，随机初始化参数的局部梯度方法几乎必定收敛于训练损失较低点，此结果相对现有结果而言具有指数级改进，并对解释局部梯度方法为何行之有效提供了新的见解。

    Feb, 2024

  • 利用凸神经网络打破维度诅咒

    研究神经网络单隐层的一般化性能，使用非欧几里得正则化工具，证明了它们适应未知的线性结构，而使用稀疏感应规范则可以实现高维非线性变量选择，提供了简单的几何解释，并提供了一些凸松弛的简单条件来实现相同的一般化误差界限，留下存在或不存在多项式时间算法的问题。

    Dec, 2014

  • 通过凸优化实现两层之外深度 ReLU 网络的全局最优

    本研究通过凸优化理论分析发现，ReLU 神经网络通过一种隐含的正则化机制实现高维特征选择，并证明了该等价凸问题可以通过标准凸优化求解器在多项式时间内全局优化。

    Oct, 2021

  • 向量输出 ReLU 神经网络问题是共正规划：两层网络的凸分析与多项式时间算法

    这篇论文描述了两层向量输出 ReLU 神经网络训练问题的凸半无限对偶问题，利用它可以找到全局最优解，而神经网络隐式地尝试通过半非负矩阵分解解决共正程序。

    Dec, 2020