DNN 的向量值变分空间和宽度界限：对权重衰减正则化的见解

May, 2023

DNN 的向量值变分空间和宽度界限：对权重衰减正则化的见解

Vector-Valued Variation Spaces and Width Bounds for DNNs: Insights on Weight Decay Regularization

Joseph Shenouda, Rahul Parhi, Kangwook Lee, Robert D. Nowak

TL;DR本文对使用深度神经网络以及权值衰减函数进行训练的常见方法进行了新的解释，同时对基于多输出 ReLU 神经网络的使用权值衰减函数进行训练的函数的学习、利用新的表示定理在 VV 空间内使神经网络成为解决学习问题的最佳方案、以及使用多任务套索问题的方法对权重进行压缩等内容进行了研究。

Abstract

deep neural networks (DNNs) trained to minimize a loss term plus the sum of squared weights via gradient descent corresponds to the common approach of training with weight decay. This paper provides new insights

deep neural networks weight decay multi-output representer theorem multi-task lasso problem

发现论文，激发创造

加权变差空间与浅层 ReLU 网络的逼近

通过引入加权变分空间的概念，本文给出了在域中定义这些新模型类的更加恰当的定义。这些新模型类固有于域本身，并且与经典（与域无关）模型类相比更大，但仍然保持着相同的神经网络逼近速率。

Jul, 2023

神经排序崩溃：权重衰减和小的内类变异性带来低秩偏差

深度学习中的低秩偏好与神经网络的神经层塌陷现象相关，权重衰减参数的增长导致网络中每一层的秩与前一层隐藏空间嵌入的类内变异成正比减少。

Feb, 2024

深度学习的假设空间

该论文介绍了一种用于深度学习的假设空间，利用深度神经网络（DNNs），通过将 DNN 视为两个变量的函数，即物理变量和参数变量，并考虑 DNN 的原始集合，这些集合位于由 DNN 的深度和宽度确定的权重矩阵和偏差的集合，然后通过在弱 * 拓扑中完成原始 DNN 集合的线性张量构建物理变量的函数的 Banach 空间，我们证明了所构建的 Banach 空间是一个再生内核 Banach 空间（RKBS），并构建了其再生内核。我们通过建立学习模型的 representer 定理，研究了结果 RKBS 中的正则化学习和最小插值问题，representer 定理表明这些学习模型的解可以表示为给定数据和再生内核确定的有限数量的内核会话的线性组合。

Mar, 2024

通过凸对偶揭示深度神经网络的结构

本文研究正则化深度神经网络及其隐层结构，通过凸分析框架构建问题的最优隐层权重，证明 For 深度 ReLU 网络，权重矩阵与之前的层通过对偶对齐，并给出了数据为基态或白话时的权重的解析解。同时，该研究也可以甚至适用于具有批归一化架构的深度神经网络，并给出了 “神经坍塌” 现象的完整解释。

Feb, 2020

具有多元非线性的神经结构的巴拿赫空间优化性

通过构建一类新的经过正则化操作与 $k$-plane 变换定义的 Banach 空间，并证明具有多元非线性的神经结构是这些 Banach 空间中学习问题解集的完全刻画，我们研究了一大类神经结构的变分最优性（具体而言指 Banach 空间的最优性）。这些最优的神经结构具有跳跃连接，与正交权重归一化和多索引模型紧密相关，这在神经网络领域引起了相当大的关注。此外，我们还展示了底层空间是再生核 Banach 空间和变分空间的特殊实例，并为神经网络在数据上学习的函数的正则性提供了新的理论动机，尤其是在具有多元非线性时，并提供了对实践中一些架构选择的新的理论动力。

Oct, 2023

本文提出了适用于 ReLU 神经网络的 Banach 空间，其中包含了所有有限全连接 L 层网络及其 L^2 - 极限对象，具有低的 Rademacher 复杂性和良好的泛化特性，函数可以通过多层神经网络进行近似，收敛速率与维度无关。

Jul, 2020

向量值学习的细粒度泛化分析

本文提出了一个正则化框架下的向量值学习算法的一般化分析。该论文扩展了现有假设空间，损失函数平滑性和低噪声条件的限制。此外，作者还将这些结果应用于多类别和多标签分类。

Apr, 2021

分段线性神经网络的近乎紧凑 VC 维度和伪维度限制

本文证明了深度神经网络中使用 ReLU 激活函数的 VC 维度上下界，并提供了具有不同 VC 维度的示例。此外，本文还证明了 VC 维度与权重和非线性单元数量之间存在紧密的关系，这些结论适用于任意分段线性激活函数。

Mar, 2017

多层神经网络学习和泛化的直接方法：权重空间结构和内部表示

对于多层神经网络中的权值空间，MLN 是精确可解的模型，具有复制对称性，通过内部表达与训练集相关的偶奇和委员会机器等，推导其学习和泛化能力，并找到了一些新的精确结果。

Jan, 1995

神经网络中的权重不确定性

提出了一种新的、高效的、基于 Backprop 的方法 Bayes by Backprop，用于在神经网络的权重上学习概率分布，通过最小化压缩成本（即变分自由能或边缘似然的预期下界）来规范权重。该方法在 MNIST 分类的任务上表现出与 dropout 相当的性能。在非线性回归问题中，学到的权重的不确定性可以用来提高泛化能力，并且可以用来驱动在强化学习中的探索和开发之间的平衡。

May, 2015