Jan, 2024

神经 ODE 中深度和宽度之间的插值相互作用

PDF
TL;DR神经常微分方程（neural ODE）的宽度 p 和层转换的数量 L 之间存在平衡折衷，通过对数据集插值和度量插值进行评估，发现对于数据集插值，L 随着 O（1 + N /p）的规模变化，对于度量插值，L 为 O（1 +（pε ^ d）^ -1）。在自主情况下，L=0 需要单独研究，关注数据集插值问题。我们解决了 ε- 近似可控性的放宽问题，并建立 ε 的误差减小率为 O（log（p）p ^ -1 /d）。在高维度设置中，我们进一步证明 p = O（N）个神经元可能足以实现精确控制。
neural ordinary differential equationsarchitectureinterpolationdatasetmeasure interpolation
发现论文，激发创造
  • 深度神经网络、通用的普遍插值和可控制的 ODE

    通过离散化有控制的常微分方程（也称为神经常微分方程）以及一些连接性，我们研究表达性质并展示了通用差错的普适插值性质（比通用逼近性质稍弱），并探究最少参数个数在保证表达能力的情况下的取值。

    Aug, 2019

  • 带有 ReLU，leaky ReLU 和 softplus 激活函数的深度神经网络能够在 $L^p$ 意义下，证明地克服 Kolmogorov 偏微分方程中具有 Lipschitz 非线性的维数灾难

    深度学习方法在逼近高维偏微分方程方面的研究，尤其是通过神经网络和活化函数的选择，可以有效地克服维数诅咒，并能够在多项式时间内以任意精度逼近解，为解决偏微分方程提供了广泛应用的前景。

    Sep, 2023

  • 深度线性神经网络优化中证明宽度的重要性

    证明全连接线性神经网络每个隐藏层的宽度大于 $\tilde\Omega (L \cdot r \cdot d_{\mathrm {out}} \cdot \kappa^3)$ 时， 高斯随机初始化的梯度下降算法会以线性速率收敛到全局最小值，但窄层深度线性神经网络需要 $\exp\left (\Omega\left (L\right)\right)$ 操作时间，这表明宽层对于优化深度模型是必要的。

    Jan, 2019

  • 神经网络中的插值相变：懒惰训练下的记忆和泛化

    在神经切向（NT）区域的背景下，研究了过参数化现象和它们的推广误差特征，揭示了经验 NT 内核的特征并且证明了测试误差可以被无穷宽内核的核岭回归误差很好地近似。

    Jul, 2020

  • 神经网络深度证明在具有恒定扩散和非线性漂移系数的 Kolmogorov 偏微分方程数值逼近中克服了维度灾难

    这篇论文揭示了深度人工神经网络在 Kolmogorov PDEs 数值逼近中克服了维数灾难的现象。我们证明了所用 DNN 模型的参数数量在 PDE 维数 d 和逼近精度的倒数 ε 的倒数中，最多呈多项式增长。

    Sep, 2018

  • 通过等周性得出的强韧普适定律

    本文研究通过参数化模型类进行数据插值的现象与深度学习中使用数量远高于方程数的参数进行拟合训练的关系，证明了平滑插值需要的参数数量是简单插值的 $d$ 倍， 并将结果解释为改进的模型泛化边界。

    May, 2021

  • 深度神经网络的插值、逼近和可控性

    我们通过控制理论研究将深层残差神经网络作为连续动力系统的表达能力。具体而言，我们考虑从监督学习中产生的两个特性，即通用插值 - 能够匹配任意输入和目标训练样本，以及紧密相关的通用逼近 - 能够通过流映射逼近输入 - 目标函数关系。在控制结构变换族具有仿射不变性的假设下，我们给出了通用插值的表征，证明了非线性网络结构基本上都具备这一特性。此外，我们阐明了通用插值和通用逼近在一般控制系统背景下的关系，证明了这两个特性不能从彼此推导出来。同时，我们确定了控制结构和目标函数的条件，确保了这两个概念的等价性。

    Sep, 2023

  • 高维无脊岭最小二乘插值中的惊喜

    本文研究了高维最小二乘回归中的最小 L2 范数（“无岭”）插值，并考虑了特征分布的两个不同模型：线性模型和非线性模型

    Mar, 2019

  • 神经网络中的深度分离：将维度分离出来与准确性

    证明了在满足条件的情况下，当用深度为 2 和深度为 3 的神经网络来近似一个在 [0,1]^d 上与 Lipschitz 目标函数的 constant 精度相等的分布时，存在指数级的差距。

    Feb, 2024

  • 神经网络：深度、浅层，还是中间？

    我们对用具有宽度 W、深度 l 和 Lipschitz 激活函数的前馈神经网络的输出来逼近某个 Banach 空间中的紧致子集的误差给出了下界估计。我们证明，除了神经网络，只有当深度 l 趋于无穷大时，才有可能得到比熵数更好的速率，而如果我们固定深度并使宽度 W 趋于无穷大则无法获益。

    Oct, 2023