Aug, 2023

通过 RNN 实现线性时不变（LTI）系统的通用逼近：随机性在水池计算中的力量

PDF
TL;DR循环神经网络（RNN）被认为是在相对温和且普遍的条件下对动态系统进行普适逼近的工具，但通常在标准 RNN 训练中面临梯度消失和梯度爆炸问题。为解决这些问题，引入了一种特殊的 RNN，即储层计算（RC），其循环权重是随机化并且未经过训练，此方法在自然语言处理和无线通信等领域表现出卓越的实证性能，特别适用于训练样本极为有限的情况。本研究证明了 RNN 可以普遍逼近线性时不变（LTI）系统并提供了 RC 在泛化 LTI 系统中的解释。我们通过清晰的信号处理解释和理解，利用 RC 对一个通用的 LTI 系统进行了模拟。在这个设置下，我们分析了生成 RC 的未经训练的循环权重的最优概率分布函数，并进行了大量的数值验证。我们的工作提供了基于信号处理的 RC 模型可解释性，并为设置而非训练 RC 的未经训练循环权重提供了理论解释。这是朝着可解释机器学习（XML）的重要步骤，尤其适用于训练样本有限的应用。
recurrent neural networksreservoir computinguniversal approximationlinear time-invariant systemssignal processing
发现论文，激发创造
  • 循环神经网络储备系统的普适性

    讨论了具有循环神经网络（RNN）作为储层的储层系统的近似能力。在问题设置中，储层系统通过调整其线性读出量来近似一组函数，而储层保持固定。我们将展示一类 RNN 储层系统的统一强普适性，用于近似某类函数。这意味着，对于任意正数，我们可以构建一个足够大的 RNN 储层系统，其对于待近似函数类中每个函数的近似误差都有一个上界。这种 RNN 储层系统是通过 RNN 储层的并行级联构造的。

    Mar, 2024

  • 离散时间特征和储备计算的随机性

    本文提出了新的几何解释，解释了库沃塞蓝计算的现象，将其构建为强普适性水库系统；随机投影所有状态空间系统的家族，以产生 Volterra 级数扩展，生成随机系数的状态仿射水库系统能够通过为每个不同的滤波器训练一个不同的线性输出来近似任何消退存储过滤器类中的元素。

    Sep, 2020

  • 自回归型时间序列数据的完全预测水库计算的数学结构

    强调了递归神经网络中的输入和循环权重矩阵的隐藏结构，并证明这些结构在 AR 类型的时间序列数据中实现了完美预测。

    Sep, 2023

  • 关于蓄水池计算及其超越传统机器学习的跨学科应用的调查

    储备计算（RC）是一种递归神经网络，通过随机连接神经元实现对时间信号处理的应用。该模型具有丰富的动力学、线性可分性和记忆能力，可在各种应用中生成适当的响应。RC 的研究领域涉及机器学习、物理学、生物学和神经科学，可应用于物理硬件和生物设备的复杂动力学实现及对大脑机制的理解。本文对 RC 的发展进行了综合回顾，包括模型、应用和脑机制的建模，并提供了储备设计、编码框架统一、物理实现以及与认知神经科学和进化之间的相互作用等新视角。

    Jul, 2023

  • 利普希茨循环神经网络

    本文提出采用连续时间动力学系统的视角看待循环神经网络（RNNs），并提出了一种描写隐藏状态演变的循环单元，该单元包含一个经过深思熟虑的线性组成部分和一个 Lipschitz 非线性组成部分来促进该单元的长期稳定性分析；并通过实验表明，Lipschitz RNN 在计算机视觉、语言建模和语音预测任务中的表现优于现有的循环单元；通过利用 Hessian 的分析证明我们的 Lipschitz 循环单元相对于其他连续时间 RNN 对输入和参数扰动更具稳健性。

    Jun, 2020

  • 基于孤立波和生物灵感非线性变换的物理储层计算

    利用表面流动液膜上激发的孤立波，实验证明一种物理上的储备计算系统，该系统通过对输入数据进行非线性转换来替代随机性的影响，从而作为传统储备计算算法的技术简单的硬件改进。

    Jan, 2024

  • 递归神经网络中的反向传播算法和储备计算用于复杂时空动态预测

    本文研究使用循环神经网络以及储备计算和时域反向传播来预测高维和低维复杂系统的时空动态，结果表明：对于长期预测混沌系统，当全部状态动态数据用于训练时，储备计算方法的预测性能优于时域反向传播，但在使用低维数据时时域反向传播方法表现更好。同时该研究还首次量化了使用时域反向传播方法的 Lyapunov 谱。

    Oct, 2019

  • 有限精度 RNN 在语言识别中的实际计算能力

    本文研究了有限精度的 RNNs，证明 LSTM 和 Elman-RNN with ReLU activation 比 RNN with a squashing activation 和 GRU 更加强大，可以实现计数行为，并且实验证明了 LSTM 学习了有效地使用计数机制。

    May, 2018

  • 线性 RNN 的隐性偏差

    研究说明传统的循环神经网络（RNNs）在需要长期记忆的任务上表现不佳的原因是因为其随机初始化后的转移矩阵方差造成了梯度消失和梯度爆炸的问题，而使用线性 RNNs 代替时会出现更短的记忆偏差，这一理论经过人工数据和真实数据的验证。

    Jan, 2021

  • 无限维储水池计算

    提出了一种基于无限维状态空间系统积分表示的读出特性的新概念类，它具有较强的实用性和通用近似性质，其中利用了随机生成的线性或 ReLU 激活函数的回声状态网络，并以仅训练输出层的随机神经网络为基础构建读出模型，所得到的结果是具有证明收敛性保证的可全面实现的递归神经网络学习算法，不受维度灾难影响。

    Apr, 2023