现代网络的路径 - 范数工具包：后果、承诺和挑战

Oct, 2023

现代网络的路径 - 范数工具包：后果、承诺和挑战

A path-norm toolkit for modern networks: consequences, promises and challenges

Antoine Gonon, Nicolas Brisebarre, Elisa Riccietti, Rémi Gribonval

TL;DR通过使用支持一般 DAG ReLU 网络的路径范数工具包，该研究建立了适用于现代神经网络的泛化界限，该工具包不仅可以恢复或超越已知的界限，而且还具有计算简便、对网络对称性不变以及相对于算符范数的优化尖锐度等路径范数的优点。该工具包的多功能性和易于实施性使我们能够在 ImageNet 上对 ResNets 的最尖锐的已知界限进行数值评估，从而挑战基于路径范数的泛化界限的具体承诺。

Abstract

This work introduces the first toolkit around path-norms that is fully able to encompass general dag relu networks with biases, skip connections and max pooling. This toolkit notably allows us to establish

path-norms dag relu networks generalization bounds symmetries feedforward networks

发现论文，激发创造

基于路径范数的 ReLU 神经网络容量控制

提出一种基于一组线性独立路径的新范数，用于更准确地衡量神经网络的容量，在基于此范数的正则化方法下获得更好的测试性能。

Sep, 2018

路径度量、剪枝和泛化

证明了一种新的与参数路径度量相关的函数距离上界，在网络修剪和量化等方面具有广泛适用性，同时提供了新的理论推广界限和与缩放无关的修剪的有前景的概念验证。

May, 2024

神经网络中的数据依赖路径归一化

本文提出了一个统一的神经网络标准化、正则化和优化框架，其中包括 Path-SGD 和 Batch-Normalization，并在两个不同的维度上插值于它们之间。通过这个框架，我们研究了优化的不变性、数据依赖性以及与自然梯度的联系。

Nov, 2015

浅层网络 1 - 路径范数的高效近端映射

研究了浅层神经网络的 1-path - 范数，发现它可以通过闭合形式的近端算子进行计算，且可以提供网络李普希茨常数的上界，是训练鲁棒性强的网络的有力工具。与 L1 - 范数以及基于层的李普希茨常数的制约相比，1-path - 范数的近端映射具有更好的鲁棒性 - 准确性平衡。

Jul, 2020

特征化信号传播以缩小未标准化 ResNets 性能差距

该研究介绍了一种能够设计高效 ResNets 网络的分析工具，通过采用一种改进后的 Weight Standardization 技术，该分析工具的作用在于确保具有 ReLU 或 Swish 激活函数的信号在网络的深度方向上不发生偏移以达到在 FLOP 预算范围内与当今最先进的 EfficientNets 在 ImageNet 上的性能竞争可比性。

Jan, 2021

使用 ReLU 激活函数的循环神经网络的路径归一化优化

研究了循环神经网络参数空间的几何形状，并开发了一种适应于该几何形状的路径 - SGD 优化方法，它可以学习具有 ReLU 激活的普通 RNN。在一些需要捕捉长期依赖结构的数据集上，我们证明 path-SGD 可以显著提高 ReLU RNN 的可训练性，与使用 SGD 训练的 RNN 相比，即使使用各种最近推荐的初始化方案。

May, 2016

设置规范和等变跳连：让深度集合更深

介绍了深度学习中置换不变的神经网络模型：Deep Sets 和 Set Transformer, 研究表明这两种模型在深度加深时容易出现梯度消失和梯度爆炸，并针对这些问题提出了 Deep Sets++ 和 Set Transformer++ 模型，还提出了适用于集合数据的方法 set norm。

Jun, 2022

本文提出了适用于 ReLU 神经网络的 Banach 空间，其中包含了所有有限全连接 L 层网络及其 L^2 - 极限对象，具有低的 Rademacher 复杂性和良好的泛化特性，函数可以通过多层神经网络进行近似，收敛速率与维度无关。

Jul, 2020

推广路径拓扑图神经网络

图神经网络在各个领域取得了显著进展，但受到称为 1-Weisfeiler-Lehmann 测试的理论约束。尽管最新的高阶图神经网络可以克服这个限制，但它们通常集中于某些图的组成要素，如团或环。然而，我们的研究选择了一条不同的路线，侧重于路径，这在任何图中都是固有的。我们能够构建一个更一般的拓扑视角，并将它与其他拓扑领域的一些已有理论建立联系。有趣的是，在不对图的子结构作出任何假设的情况下，我们的方法在该领域超过早期的技术，达到了几个基准上的最先进性能.

Aug, 2023

隐藏的协同作用：$L_1$ 权重归一化与 1 - 路径 - 范数正则化

提出了一种名为 PSiLON Net 的 MLP 架构，利用 $L_1$ 权重归一化来处理每个权重向量，并在层间共享长度参数。通过简化 1-path-norm 并提供对高效学习和近稀疏参数的归纳偏差，设计了 PSiLON Net。同时，提出了一种修剪方法来在最后阶段实现精确稀疏性。使用改进的 1-path-norm 作为正则化器，针对小数据环境下过参数化的 PSiLON Nets 和 PSiLON ResNets 进行实验，展示了可靠的优化和强大的性能。

Apr, 2024