May, 2022

L2 正则化 DNN 中的特征学习：吸引 / 排斥和稀疏性

PDF
TL;DR本研究探讨使用 $L_{2}$ 正则化的 DNNs 的损失曲面，并证明了通过特征学习来实现最优隐藏表示，以及如何通过隐藏表示的协方差来证明 $N (N+1)$ 神经元的局部最小值，并且在传统设置中远不需要 $N^{2}$ 神经元即可达到最小值。
发现论文，激发创造
  • 学习特征中的瓶颈结构：低维度与规则性的权衡

    该研究旨在证明具有大深度和 L2 正则化的 DNN 在学习输入时会产生 “瓶颈结构”（低维表示），并介绍了一种衡量网络内在维度和复杂性 / 不规则性之间平衡的方法。

    May, 2023

  • 通过凸对偶揭示深度神经网络的结构

    本文研究正则化深度神经网络及其隐层结构，通过凸分析框架构建问题的最优隐层权重，证明 For 深度 ReLU 网络，权重矩阵与之前的层通过对偶对齐，并给出了数据为基态或白话时的权重的解析解。同时，该研究也可以甚至适用于具有批归一化架构的深度神经网络，并给出了 “神经坍塌” 现象的完整解释。

    Feb, 2020

  • 通过高效的 l2,1 - 范数最小化进行多任务特征学习

    本文提出了两种等价的平滑凸优化问题，并使用 Nesterov's 方法来加速计算。我们还展示了 Euclidean Projection 的解析和线性计算方法，并在多个数据集上验​​证了该算法的有效性。

    May, 2012

  • 深度神经网络的表示定理

    通过引入功能规则化到损失函数中，基于二阶总变差准则，提出了一种可以用于通信、编码和学习的深度神经网络优化方法；同时，通过使用自适应节点的非均匀线性样条，可以实现每个神经元的动作编码。

    Feb, 2018

  • 神经网络中从损失平坦性到压缩表示的简单连接

    深度神经网络的泛化能力在参数空间的损失景观形状和特征空间（即单位活动的空间）的表示流形结构两个不同的方法中已经被研究，但很少一起研究并显式连接。我们提出了一个简单的分析，建立了它们之间的联系，并展示了表明在深度神经网络的学习的最后阶段，神经表示流形的体积压缩与参数优化过程中所探索的最小值周围的损失的平坦性相关的结果。

    Oct, 2023

  • 神经网络是凸正则化器：两层神经网络的精确多项式时间凸优化公式

    本文中，我们利用半无限对偶及最小规范化，将使用修正线性单元的两层神经网络的训练准确表述为单一凸程序，其变量数量与训练样本数量和隐藏层神经元数量呈多项式关系，并证明使用标准权重衰减进行修正线性单元网络训练的等效于带块 $l_1$ 惩罚的凸模型。此外，我们还证明了某些标准卷积线性网络等效于半定程序，可以在多项式大小的离散傅里叶特征空间中简化为带 $l_1$ 正则化的线性模型。

    Feb, 2020

  • 正则化压缩神经网络的学习

    研究了深度神经网络的正则梯度下降算法，并通过量化约束集合的复杂度以及研究覆盖维度来探索正则化技术在加速训练、提高泛化性能以及学习更高效紧凑模型方面的优势。

    Feb, 2018

  • 多元神经网络学习真实目标函数

    通过对具有 ReLU 激活函数的一层神经网络的分析，我们发现神经网络具有良好的优化特性，其具有多样的单元没有虚假局部最小值，在满足 “扩展特征矩阵” 的最小奇异值足够大的条件下，可以使损失函数变得任意小。

    Nov, 2016

  • 使用组凸规则的稀疏输入神经网络

    本文提出使用组凸正则化的稀疏输入神经网络框架，用于解决在高维数据中进行的变量筛选和非线性函数估计的问题。通过对每个输入节点的所有出节点的权重的 L2 范数应用适当的凹值惩罚，从而为每个问题生成一个小型子集，取得了令人满意的有限样本性能和稳定的解决方案。

    Jul, 2023

  • 深度神经网络的分组稀疏正则化

    探讨了深度神经网络、特征选择和优化之间的关系，并通过引入 Group Lasso penalty 的方法，同时解决了三个问题，证明此方法可以在大规模分类任务上有效地实现。

    Jul, 2016