May, 2023

深度神经网络导数的近似最优 VC 维度和伪维度上界

PDF
TL;DR本研究解决了深度神经网络导函数的最优 Vapnik-Chervonenkis 维度（VC-dimension）和伪维度估计的问题，并将其应用于机器学习方法中涉及函数导数的损失函数的学习误差估计，从而填补了包括物理为基础的机器学习模型和应用程序（例如生成模型、解决偏微分方程、操作学习、网络压缩、提取、正则化等）的学习误差估计的空白。
vapnik-chervonenkis dimensionpseudo-dimensiondeep neural networksgeneralization errormachine learning
发现论文，激发创造
  • 分段线性神经网络的近乎紧凑 VC 维度和伪维度限制

    本文证明了深度神经网络中使用 ReLU 激活函数的 VC 维度上下界，并提供了具有不同 VC 维度的示例。此外，本文还证明了 VC 维度与权重和非线性单元数量之间存在紧密的关系，这些结论适用于任意分段线性激活函数。

    Mar, 2017

  • 神经特征映射的超平面界限

    本研究探讨了如何优化特征映射，使用神经网络来减少超平面的有效 VC 维度。结论表明，可以定义一个控制分类超平面 VC 维度的损失函数。当训练集较小时，使用此方法的性能有所提高。

    Jan, 2022

  • 非离散设置的计算 Vapnik-Chervonenkis 维度

    开发了一种在没有约束条件的情况下近似计算 VC 维度的方法，该方法基于经验风险最小化学习范式，用于表征概念类的粉碎性质。

    Aug, 2023

  • 神经网络深度证明在具有恒定扩散和非线性漂移系数的 Kolmogorov 偏微分方程数值逼近中克服了维度灾难

    这篇论文揭示了深度人工神经网络在 Kolmogorov PDEs 数值逼近中克服了维数灾难的现象。我们证明了所用 DNN 模型的参数数量在 PDE 维数 d 和逼近精度的倒数 ε 的倒数中，最多呈多项式增长。

    Sep, 2018

  • 深度人工神经网络中经验风险最小化对一般化误差的分析：在数值求解 Black-Scholes 偏微分方程中克服维数灾难

    探讨深度神经网络假设类上基于经验风险最小化 (ERM) 的新分类和回归算法在高维偏微分方程数值解中克服维数灾难的条件，并说明在多项式时间内只需合适数量的样本即可获得解。

    Sep, 2018

  • 对 Sobolev 范数关于 Korobov 函数的最优深度神经网络逼近

    该研究论文通过对 Korobov 函数应用深度神经网络（DNNs），建立了近乎最优的逼近速率，成功克服了维度灾难。通过 $L_p$ 范数和 $H^1$ 范数对逼近结果进行了测量。我们实现的逼近速率展现了非常优秀的 “超收敛” 速率，优于传统方法和任何连续函数逼近器。这些结果是非渐近的，同时考虑了网络的宽度和深度，给出了误差界限。

    Nov, 2023

  • 基于 VC 维的关系学习泛化界

    本文研究了关系模型的充分统计量的误差边界，主要结果是证明了适用于关系数据的 Vapnik-Chervonenkis 维度的变体边界。

    Apr, 2018

  • 深度神经网络近似理论

    本文通过深度神经网络的 Kolmogorov 最优化来发展其基本极限，并阐述了深度网络对于不同函数类的 Kolmogorov 最优逼近性，其提供了指数级的逼近精度，并且在逼近足够光滑的函数时，相较于有限宽深网络，有限宽深层网络需要更小的连通性。

    Jan, 2019

  • DNN 的向量值变分空间和宽度界限：对权重衰减正则化的见解

    本文对使用深度神经网络以及权值衰减函数进行训练的常见方法进行了新的解释，同时对基于多输出 ReLU 神经网络的使用权值衰减函数进行训练的函数的学习、利用新的表示定理在 VV 空间内使神经网络成为解决学习问题的最佳方案、以及使用多任务套索问题的方法对权重进行压缩等内容进行了研究。

    May, 2023

  • 使用 Pfaffian 激活函数的图神经网络的 VC 维度

    本文提出了一种拓展通用图神经网络（GNNs）的 VC 维度分析方法，研究了 GNNs 中常用的激活函数，如 sigmoid 和双曲正切函数，通过 Pfaffian 函数理论框架给出了与架构参数和 1-WL 测试结果相关的界限，理论分析得到了初步实验研究的支持。

    Jan, 2024