关于循环神经网络的可证泛化性

Sep, 2021

On the Provable Generalization of Recurrent Neural Networks

Lifu Wang, Bo Shen, Bo Hu, Xing Cao

TL;DR本文研究基于随机初始化的循环神经网络（RNN）的训练和泛化，提出了两个改进：1）无需归一化条件就能学习某些显著概念类的函数；2）能够学习输入序列的 N 元函数形式 f（β^T [X_{l_1},...,X_{l_N}]），该函数类别不属于可加分概念类，当其中某个 N 或者 l_0 较小时，f 能以接近于多项式级别的迭代次数和样本数进行学习。

Abstract

recurrent neural network (RNN) is a fundamental structure in deep learning. Recently, some works study the training process of over-parameterized neural networks, and show that over-parameterized networks can lea

recurrent neural network training process generalization neural tangent kernel matrix concept classes

发现论文，激发创造

随机梯度下降能否学习具有可证明泛化性的循环神经网络？

本文研究了 RNN 模型在 PAC 学习语言中所能学习的概念类别以及如何通过渐进多项式时间和样本复杂度来有效地学习一些显著的概念类别，例如使用平滑的双层神经网络从不同的输入信息生成各自的输出信息。

Feb, 2019

一类循环神经网络的泛化界限

研究对循环神经网络的推广能力，通过探究四种变体，包括最小门单元、长短期记忆和卷积循环神经网络，建立了 PAC-Learning 框架下的推广界限，并在额外的规范假设下建立了更加精细的推广界限，与现有结果相比，说明了这些变体在推广中的优势。

Oct, 2019

递归神经网络在符合遍历性数据序列上训练的核极限

开发数学方法来表征随着隐藏单元数量、数据样本序列、隐藏状态更新和训练步骤同时趋向于无穷大，递归神经网络（RNN）的渐近特性。通过研究联合随机代数方程的无穷维 ODE 的解，我们证明了简化权重矩阵的 RNN 收敛到一个无穷维 ODE 的解与固定点耦合。这项分析需要解决针对 RNN 独特的几个挑战，而标准的均场技术无法应用于 RNN，因此我们开发了一种用于 RNN 记忆状态演进的固定点分析方法，并对更新步骤和隐藏单元数量给出了收敛估计。当数据样本和神经网络规模趋向于无穷大时，这些数学方法导致了 RNN 在数据序列上训练时的神经切向核（NTK）极限。

Aug, 2023

关于训练循环神经网络的收敛速率

本文研究了如何在训练多层神经网络时，通过采用类局部搜索方法（如随机梯度下降）避免陷入不良局部最小值，在给定非凸非光滑结构的情况下，它们如何适应随机标签；研究了在神经网络中如何使用 ReLU 激活函数避免指数梯度爆炸或消失；通过构建扰动理论，该理论可用于分析 ReLU 激活的多层网络的一阶数学逼近。

Oct, 2018

循环神经网络的最近进展

本文对循环神经网络的基本原理、最新进展和研究挑战进行了说明，介绍了针对学习长期依赖问题的新进展，适合该领域的新手和专业人士。

Dec, 2017

适用于循环神经网络的广义张量模型

本文研究了使用不同非线性激活函数的循环神经网络（RNNs）的理论效率，表明它们也具有普适性和深度效率的特性，并通过计算实验证实了这一理论结果。

Jan, 2019

循环神经网络在序列学习中的关键评估

本文对于近三十年来产生和实践了重要的循环神经网络（RNN），LSTM 和 BRNN 等模型的研究进行综述，旨在提供一个自成体系的最前沿阐述和历史视角，并引用了相关研究文献。