Mar, 2024

循环神经网络储备系统的普适性

PDF
TL;DR讨论了具有循环神经网络（RNN）作为储层的储层系统的近似能力。在问题设置中，储层系统通过调整其线性读出量来近似一组函数，而储层保持固定。我们将展示一类 RNN 储层系统的统一强普适性，用于近似某类函数。这意味着，对于任意正数，我们可以构建一个足够大的 RNN 储层系统，其对于待近似函数类中每个函数的近似误差都有一个上界。这种 RNN 储层系统是通过 RNN 储层的并行级联构造的。
reservoir systemsrecurrent neural networkapproximation capabilityuniform strong universalityrnn reservoirs
发现论文，激发创造
  • 通过 RNN 实现线性时不变（LTI）系统的通用逼近：随机性在水池计算中的力量

    循环神经网络（RNN）被认为是在相对温和且普遍的条件下对动态系统进行普适逼近的工具，但通常在标准 RNN 训练中面临梯度消失和梯度爆炸问题。为解决这些问题，引入了一种特殊的 RNN，即储层计算（RC），其循环权重是随机化并且未经过训练，此方法在自然语言处理和无线通信等领域表现出卓越的实证性能，特别适用于训练样本极为有限的情况。本研究证明了 RNN 可以普遍逼近线性时不变（LTI）系统并提供了 RC 在泛化 LTI 系统中的解释。我们通过清晰的信号处理解释和理解，利用 RC 对一个通用的 LTI 系统进行了模拟。在这个设置下，我们分析了生成 RC 的未经训练的循环权重的最优概率分布函数，并进行了大量的数值验证。我们的工作提供了基于信号处理的 RC 模型可解释性，并为设置而非训练 RC 的未经训练循环权重提供了理论解释。这是朝着可解释机器学习（XML）的重要步骤，尤其适用于训练样本有限的应用。

    Aug, 2023

  • 无限维储水池计算

    提出了一种基于无限维状态空间系统积分表示的读出特性的新概念类，它具有较强的实用性和通用近似性质，其中利用了随机生成的线性或 ReLU 激活函数的回声状态网络，并以仅训练输出层的随机神经网络为基础构建读出模型，所得到的结果是具有证明收敛性保证的可全面实现的递归神经网络学习算法，不受维度灾难影响。

    Apr, 2023

  • 离散时间特征和储备计算的随机性

    本文提出了新的几何解释，解释了库沃塞蓝计算的现象，将其构建为强普适性水库系统；随机投影所有状态空间系统的家族，以产生 Volterra 级数扩展，生成随机系数的状态仿射水库系统能够通过为每个不同的滤波器训练一个不同的线性输出来近似任何消退存储过滤器类中的元素。

    Sep, 2020

  • 量子神经网络和量子储备库的通用逼近定理和误差界

    本文研究了经典神经网络的普适逼近定理在量子设置下的拓展，通过参数化量子电路近似传统函数，并提供精确的误差界，并将结果推广到模拟经典储备神经网络的随机量子电路。结果表明，一个具有 O (ε^-2) 个权重和 O (⌈log_2 (ε^-1)⌉) 个量子比特的量子神经网络可以在近似具有可积傅里叶变换的函数时达到精度 ε>0。

    Jul, 2023

  • 非线性逼近和（深层）ReLU 网络

    该论文研究了深度神经网络的近似和表达能力，证明了神经网络在目标应用中比传统的非线性近似方法具有更强的近似能力，其中逼近单变量函数的 ReLU 神经网络是研究的重点，然而，尚缺乏一种完全定量化神经网络近似能力的理论。

    May, 2019

  • 适用于循环神经网络的广义张量模型

    本文研究了使用不同非线性激活函数的循环神经网络（RNNs）的理论效率，表明它们也具有普适性和深度效率的特性，并通过计算实验证实了这一理论结果。

    Jan, 2019

  • 神经网络逼近

    该篇论文调查了神经网络的近似性质，特别是使用 ReLU 激活函数的非线性流形，并比较了这种近似方法与传统数值分析中使用的近似方法之间的差异，着重分析了数值稳定性问题，发现在一定程度上提高了近似能力，但以数值稳定性为代价。

    Dec, 2020

  • 关于循环神经网络的可证泛化性

    本文研究基于随机初始化的循环神经网络（RNN）的训练和泛化，提出了两个改进：1）无需归一化条件就能学习某些显著概念类的函数；2）能够学习输入序列的 N 元函数形式 f（β^T [X_{l_1},...,X_{l_N}]），该函数类别不属于可加分概念类，当其中某个 N 或者 l_0 较小时，f 能以接近于多项式级别的迭代次数和样本数进行学习。

    Sep, 2021

  • 非紧致均匀普适逼近

    通过研究神经网络的一层隐藏层，我们发现所有在无穷远处趋于零的连续函数可以被具有渐近线性行为的非零连续激活函数的神经网络进行均匀逼近，并且我们确定了这些函数可被离散的 sigmoidal 函数的积的闭线性包所表示的代数结构。

    Aug, 2023

  • 随机神经网络的通用逼近性质

    研究了随机神经网络的普适逼近性质、Bochner 空间中的逼近速率和维度诅咒，以及与确定性神经网络的比较。

    Dec, 2023