May, 2018

估计卷积或循环神经网络所需的样本数量是多少？

PDF
TL;DR本文研究了卷积神经网络和循环神经网络的样本复杂度，发现其样本复杂度随内在维度线性增长，但远小于全连接神经网络。研究方法包括本地经验分析和新的技术引理，希望能激发进一步理解卷积神经网络和循环神经网络的发展。
convolutional neural networksrecurrent neural networkssample-complexityintrinsic dimensionempirical process analysis
发现论文，激发创造
  • 递归神经网络样本复杂度界限及其在组合图问题中的应用

    本文探讨了使用循环神经网络学习解决实值组合图问题的可行性，提出了用于上限样本复杂度的理论框架，并证明了单层和多层循环神经网络可以在多项式数量级的样本数下对于最大顶点个数为 n 的图进行学习。

    Jan, 2019

  • 学习一层卷积神经网络的样本复杂度

    我们研究了使用不重叠过滤器的一层卷积神经网络的样本复杂度，并提出了一种称为近似梯度下降的新算法来训练 CNN，该算法在随机初始化时具有地面真值参数的线性收敛性，并且适用于常规的激活函数，例如 ReLU，Leaky ReLU，Sigmod 和 Softplus 等。我们的样本复杂度超过现有结果，并匹配了具有线性激活函数的一层 CNNs 的信息论下界，表明我们的样本复杂度是紧致的。

    Nov, 2019

  • 卷积神经网络和循环神经网络在自然语言处理中的比较研究

    本文章首次系统地比较了卷积神经网络与循环神经网络在多个自然语言处理任务上的表现，为深度学习网络的选择提供了基本指导。

    Feb, 2017

  • 循环神经网络在序列学习中的关键评估

    本文对于近三十年来产生和实践了重要的循环神经网络（RNN），LSTM 和 BRNN 等模型的研究进行综述，旨在提供一个自成体系的最前沿阐述和历史视角，并引用了相关研究文献。

    May, 2015

  • ResNet 类型卷积神经网络的近似与非参数估计

    本文证明了一种 ResNet 型 CNN 模型在具有 block-sparse 结构的情况下可以在 Barron 和 H"older 类中实现 minimax 优化差错率，并且该理论具有普适性。

    Mar, 2019

  • 关于循环神经网络的可证泛化性

    本文研究基于随机初始化的循环神经网络（RNN）的训练和泛化，提出了两个改进：1）无需归一化条件就能学习某些显著概念类的函数；2）能够学习输入序列的 N 元函数形式 f（β^T [X_{l_1},...,X_{l_N}]），该函数类别不属于可加分概念类，当其中某个 N 或者 l_0 较小时，f 能以接近于多项式级别的迭代次数和样本数进行学习。

    Sep, 2021

  • 循环神经网络的容量与可训练性

    通过实验证实了，所有常见的递归神经网络在仔细训练后达到了近乎相同的任务能力和单元容量边界，而许多以前的结果比较不同的递归神经网络结构主要是由于训练效果的差异而不是由于容量的差异驱动的。同时，作者还提出了两个新的递归神经网络结构，其中一个对于深度堆叠结构的训练比 LSTM 或 GRU 更容易。

    Nov, 2016

  • 循环神经网络的结构复杂度度量

    该论文系统分析了循环神经网络连接体系结构，并提出了三种体系结构复杂度量度，包括循环深度、前馈深度和循环跳跃系数，并通过实验结果发现增加循环深度和前馈深度可以改善 RNN 的表现，在长期依赖问题上提高循环跳跃系数可以提升性能。

    Feb, 2016

  • 神经网络的大小无关样本复杂度

    研究神经网络学习的样本复杂度，提供了关于每层参数矩阵范数约束的 Rademacher 复杂度的新界限，改进了前人的成果，并使用一些新技术获得了网络深度的改进关系，且在一些额外假设的情况下，完全独立于网络大小 (深度和宽度)。

    Dec, 2017

  • 关于卷积神经网络学习收敛速度的研究

    卷积神经网络的近似和学习能力的研究，证明了满足权重约束的卷积神经网络的新逼近界限，并给出了覆盖神经网络的新分析，从而得到了更好的收敛界限，并利用这两个结果在许多学习问题中推导了基于卷积神经网络的估计器的收敛速度，对于学习平滑函数的非参数回归设置和二元分类中的卷积神经网络分类器的 Hinge 损失和 Logistic 损失，得到了最优的收敛速度。

    Mar, 2024