Feb, 2018

深度神经网络有效地学习非平滑函数

PDF
TL;DR本文阐述了深度神经网络在一定情况下为何比其他模型表现更好，并通过考虑一定类别的非光滑函数，推导了使用 ReLU 激活的 DNN 的估计器的泛化误差，同时说明了 DNN 的收敛速率几乎是最优的，而某些流行的模型则未达到最优速率，这为选择合适的 DNN 层数和边提供了指导。
deep neural networksnon-smooth functionsgeneralization errorrelu activationconvergence rates
发现论文，激发创造
  • 深度神经网络在近似和估计中适应函数规律性和数据分布

    深度学习在不同领域展现了显著的成果，但为了理解其成功，我们需要研究其理论基础。本文探讨了一个不同的角度：深度神经网络如何适应不同地点、尺度和非均匀数据分布的函数的不同规则性。我们使用深层 ReLU 网络发展了非参数逼近和估计理论，并在多个函数类上应用了我们的结果，推导出相应的逼近误差和泛化误差。通过数值实验验证了我们结果的有效性。

    Jun, 2024

  • 深度神经网络在函数逼近中理论与实践之间的差距

    通过计算框架来探讨深度神经网络在数值分析领域的稳定性、精确性、计算效率和样本复杂性，研究了不同维度中的测试函数和与压缩感知的比较，结果表明 DL 在实际中的性能表现仍需要进一步设计架构和训练策略。但此实践证明了深度神经网络在科学计算中具有潜在的更好性能。

    Jan, 2020

  • 多元神经网络学习真实目标函数

    通过对具有 ReLU 激活函数的一层神经网络的分析，我们发现神经网络具有良好的优化特性，其具有多样的单元没有虚假局部最小值，在满足 “扩展特征矩阵” 的最小奇异值足够大的条件下，可以使损失函数变得任意小。

    Nov, 2016

  • 深度学习作为 Ricci 流

    深度神经网络经过一系列几何和拓扑简化来进行分类任务，而这与 Hamilton 的 Ricci 流在微分几何中平滑曲率以识别拓扑结构的过程存在对应关系。通过构建一个计算框架来量化数据通过 DNN 的不同层时发生的几何变化，我们展示了全局 Ricci 网络流与 DNN 的准确性相关，并且对深度和宽度无关，也适用于不同的数据集。这些发现推动了将微分几何和离散几何工具应用于深度学习解释性问题。

    Apr, 2024

  • 非线性逼近和（深层）ReLU 网络

    该论文研究了深度神经网络的近似和表达能力，证明了神经网络在目标应用中比传统的非线性近似方法具有更强的近似能力，其中逼近单变量函数的 ReLU 神经网络是研究的重点，然而，尚缺乏一种完全定量化神经网络近似能力的理论。

    May, 2019

  • 理性神经网络

    本文探讨了神经网络中的有理激活函数，证明了有理神经网络比指数小的深度下的 ReLU 神经网络更高效地逼近光滑函数，并通过数值实验证明了有理激活函数的灵活性和平滑性使其成为 ReLU 的有吸引力的替代选择。

    Apr, 2020

  • 通过非线性透视理解深度神经网络

    该研究提出了一种理论上可靠的解决方案，用于跟踪计算机视觉应用中深度神经网络中的非线性传播，提供了详实的实验结果，突出了提出的亲和性评分的实用性及其潜在的广泛应用。

    Oct, 2023

  • 使用具有 ReLU 激活函数的深度神经网络进行非参数回归

    使用基于稀疏连接 ReLU 激活函数的深层神经网络，通过适当选择网络结构实现多变量非参数回归模型的极小极限 (最优) 收敛速率 (最多出现 $log n$- 因子)，同时为多层前馈神经网络表现良好提供理论解释，并表明在不用结构约束的情况下，调整深度可以使模型的性能更好。

    Aug, 2017

  • 浅层 ReLU$^k$ 神经网络的最优逼近速率及其在非参数回归中的应用

    研究了一些与浅层 ReLU$^k$ 神经网络相对应的变分空间的近似容量，证明了这些空间包含充分平滑的函数与有限变化范数。此外，还建立了以变化范数为基础的逼近率与神经元数量的最佳逼近率，并且证明了浅层 ReLU$^k$ 神经网络可以实现学习 H"older 函数的极小极值速率，而过参量化 (深或浅) 神经网络可以实现非参数回归的几乎最优速率。

    Apr, 2023

  • 深度神经网络用于函数逼近的原因？

    研究了深度神经网络与浅层网络的比较，发现对于大部分分段光滑函数，相对于浅层网络，深度神经网络可以使用更少的神经元来实现相同的函数逼近程度。

    Oct, 2016