Apr, 2023

软阈值下二层卷积神经网络的凸对偶理论分析

PDF
TL;DR本文提出一个新的凸化软阈值神经网络的方法，设计一个凸对偶网络来解决网络的非线性和非凸性造成的全局最优解难以获得的问题，并在线性拟合和降噪实验中验证了此结论。
soft-thresholdingneural networksconvex dual networknonlinearitynonconvexity
发现论文，激发创造
  • 神经重建背后的凸正则化

    本文提出了一种凸二元框架用于优化神经网络，从而解决了其在敏感应用如医学成像中的非凸和不透明性质的问题。该凸对偶网络不仅能够通过凸优化器获得最优训练，还有利于训练和预测的解释，特别是通过权重衰减正则化训练神经网络，诱导路径稀疏性的同时，预测是分段线性滤波。实验结果表明，该凸对偶网络优化问题在 MNIST 和 fastMRI 数据集上有效。

    Dec, 2020

  • 混合凸组合优化问题下的深度学习

    本研究提出了一种递归小批量算法，通过离散优化目标找到满足训练集目标的硬阈值激活神经网络，可以提高分类精度，适用于大规模集成系统。

    Oct, 2017

  • 通过凸对偶揭示深度神经网络的结构

    本文研究正则化深度神经网络及其隐层结构，通过凸分析框架构建问题的最优隐层权重，证明 For 深度 ReLU 网络，权重矩阵与之前的层通过对偶对齐，并给出了数据为基态或白话时的权重的解析解。同时，该研究也可以甚至适用于具有批归一化架构的深度神经网络，并给出了 “神经坍塌” 现象的完整解释。

    Feb, 2020

  • 通过凸优化实现两层之外深度 ReLU 网络的全局最优

    本研究通过凸优化理论分析发现，ReLU 神经网络通过一种隐含的正则化机制实现高维特征选择，并证明了该等价凸问题可以通过标准凸优化求解器在多项式时间内全局优化。

    Oct, 2021

  • 具有阈值激活函数的神经网络全局优化训练

    本文研究了具有阈值激活函数的神经网络的权重衰减正则化训练问题，发现在网络的最后一个隐藏层宽度超过一定阈值时，这些问题可以被等价地形式化为标准的凸优化问题，类似于 LASSO 方法，并且通过各种数字实验验证理论结果。

    Mar, 2023

  • 多分支结构的深度神经网络更少非凸性

    我们研究了类似 ResNeXt、Inception、Xception、SqueezeNet 和 Wide ResNet 的多路神经网络结构，并发现这些架构的成功原因之一在于它们较少具有内在非凸性，我们提供了两类网络结构对其对偶间隙的量化保证，表明在这些网络的分支数量增加时，对偶间隙会缩小到零，而这个结果使我们更好地理解了过度参数化的能力和减少非凸问题表面的重要意义。

    Jun, 2018

  • 神经网络是凸正则化器：两层神经网络的精确多项式时间凸优化公式

    本文中，我们利用半无限对偶及最小规范化，将使用修正线性单元的两层神经网络的训练准确表述为单一凸程序，其变量数量与训练样本数量和隐藏层神经元数量呈多项式关系，并证明使用标准权重衰减进行修正线性单元网络训练的等效于带块 $l_1$ 惩罚的凸模型。此外，我们还证明了某些标准卷积线性网络等效于半定程序，可以在多项式大小的离散傅里叶特征空间中简化为带 $l_1$ 正则化的线性模型。

    Feb, 2020

  • 学习双卷积神经网络用于低层次视觉

    本文提出了一种通用的 DualCNN 卷积神经网络，用于解决低级别视觉问题，如超分辨率、边缘保留滤波、降雨和去雾。DualCNN 由两个并行的分支组成，分别恢复结构和细节，是低级别视觉任务的一种灵活的框架，可以轻松地集成到现有的 CNN 中。实验结果表明，DualCNN 可以有效地应用于许多低级别视觉任务，在性能方面优于现有的方法。

    May, 2018

  • 过参数化深度神经网络的凸优化表述

    通过广义上名为神经元特征重新填充的技术，我们解决了分析训练后的深度神经网络的根本问题，并表明适当地表示时，过度参数化的深度神经网络固有地是凸性的，因此提供了解释深度神经网络实践成功的可靠理论依据.

    Nov, 2019

  • 利用稀疏对偶算法扩展凸壳

    论文提出了两种新的双重算法来解决神经网络边界问题，这些算法可以更紧密地边界和验证神经网络，同时具有之前方法的优点，可以更高效地获得更好的验证结果。

    Jan, 2021