Jul, 2023

正则化对损失函数的几何影响

PDF
TL;DR神经网络学习的关键取决于损失函数的几何形态，我们通过研究不同的正则化方法对函数的几何形态的影响，发现在非线性深度神经网络中，正则化前的损失函数通常不是莫尔斯函数；我们考虑了几种不同的正则化方法，包括权重衰减，研究发现哪些正则化方法可以使得正则化后的函数成为莫尔斯函数。
neural networksloss functionregularizersmorseweight decay
发现论文，激发创造
  • 学习形状的隐式几何规则化

    本文提出了一种从原始数据（即点云）中直接计算高保真度隐式神经表示的新范式，它鼓励神经网络在输入点云上消失并具有单位范数梯度的简单损失函数具有几何正则化特性，利用神经网络表示任务的表面形状的零水平集，避免不良零损失解，实验表明该方法与之前的方法相比具有更高的细节和保真度。

    Feb, 2020

  • 深度学习中优化与隐式正则化的几何学

    本文通过展示泛化能力不受网络大小控制，而受其他隐含控制方法控制的方式，阐述了优化在深度学习模型泛化中的至关重要性，并通过研究深度网络参数空间的几何和设计一种调整到此空间的最优化算法来改善泛化能力。

    May, 2017

  • 深度神经网络中的记忆化：损失函数是否重要？

    研究了损失函数的选择对神经网络记忆能力的影响，发现使用对称损失函数能有效降低过拟合风险并提高网络的记忆鲁棒性。

    Jul, 2021

  • ReLU 激活函数的神经网络参数化有多退化？

    研究神经网络的优化问题，发现常见的损失函数在实现空间上是凸的，通过使用神经网络的近似能力来处理非凸性问题，利用 Sobolev norm 来建立一种限制的参数化空间来实现反稳定性，并证明在受限制的参数化空间内优化仍然可以学习任何可通过无限制优化学习的函数。

    May, 2019

  • 通过 Lipschitz 正则化学习平滑神经函数

    本文介绍了用于神经隐式场的 Lipschitz 正则项，以促进其对良好变形处理的优化，并在 3D 形状插值、外推以及部分重构相关应用中与现有技术和基准模型相比取得更优的量化和定性结果。

    Feb, 2022

  • 超球均匀性学习

    本文提出了一种新的关系规范化方法 —— 超球均一性，以影响神经元之间的相互作用，进而为神经网络打下适当的归纳偏差，从而实现对新数据的良好泛化。

    Mar, 2021

  • 深度 ReLU 神经网络中的几何引起的隐式正则化

    神经网络的隐式正则化现象与参数的几何特征密切相关，优化过程中更倾向于具有低批次功能维度的参数。网络的输入也对批次功能维度产生影响，输入的变化会改变批次功能维度的上限，称为可计算全功能维度，其估计收敛迅速且保持接近参数个数，可以与局部可辨识性相对应。与训练输入和测试输入相关的批次功能维度则由几何诱导的隐式正则化所影响。

    Feb, 2024

  • 权重衰减正则化的三种机制

    三个 optimization algorithms (SGD、Adam 和 K-FAC) 使用 weight decay 有三种 regularization 效应：(1) 增加 effective learning rate；(2) regularizing input-output Jacobian norm；(3) 减小 second-order optimization 的 effective damping coefficient。

    Oct, 2018

  • 学习基于物理启发的超网络的医学图像配准正则化

    使用 HyperMorph 框架，学习线性弹性正则化器的两个弹性参数对空间变形场的影响，从而在测试时间发现适合数据的物理参数。

    Nov, 2023

  • 部分平滑正则化的自由度

    本文考虑正则化回归问题，其中先验正则化器是一个凸函数并对于黎曼子流形是部分光滑的，我们研究了任何正则化最小化器对观察值微小扰动的敏感性，并提供了其精确的本地参数化。我们的主要敏感性分析结果表明，在观测变化微小地情况下，预测变化在同一活动子流形上局部稳定。

    Apr, 2014