无限维储水池计算
本文提出了新的几何解释,解释了库沃塞蓝计算的现象,将其构建为强普适性水库系统;随机投影所有状态空间系统的家族,以产生 Volterra 级数扩展,生成随机系数的状态仿射水库系统能够通过为每个不同的滤波器训练一个不同的线性输出来近似任何消退存储过滤器类中的元素。
Sep, 2020
该论文研究了随机库容计算机的普适性,证明了具有随机特性的库容计算机是一种普遍的逼近类,并通过两个实际应用示例展示了其在分类和混沌时间序列预测方面相对确定性库容计算机的高性能。
May, 2024
讨论了具有循环神经网络(RNN)作为储层的储层系统的近似能力。在问题设置中,储层系统通过调整其线性读出量来近似一组函数,而储层保持固定。我们将展示一类 RNN 储层系统的统一强普适性,用于近似某类函数。这意味着,对于任意正数,我们可以构建一个足够大的 RNN 储层系统,其对于待近似函数类中每个函数的近似误差都有一个上界。这种 RNN 储层系统是通过 RNN 储层的并行级联构造的。
Mar, 2024
基于广义输出的储层计算框架利用非线性动力学实现重要的信息处理能力,同时保持了储层计算的低成本和线性学习框架的优势,并在预测混沌系统、提取有用基函数等方面取得了显著的精度和鲁棒性的提高。
May, 2024
该综述通过将物理沉积池按类型分类,概述了近期物理沉积池计算的进展,并讨论了与物理沉积池计算相关的当前问题和前景,以进一步扩展其实际应用和开发下一代机器学习系统。
Aug, 2018
使用深度时滞水库计算的方法,通过分析条件 Lyapunov 指数和系统到分岔点的距离,调节线性和非线性记忆容量的分布,得出了高非线性或长时间线性记忆容量的系统设计。
Jun, 2020
储备计算(RC)是一种递归神经网络,通过随机连接神经元实现对时间信号处理的应用。该模型具有丰富的动力学、线性可分性和记忆能力,可在各种应用中生成适当的响应。RC 的研究领域涉及机器学习、物理学、生物学和神经科学,可应用于物理硬件和生物设备的复杂动力学实现及对大脑机制的理解。本文对 RC 的发展进行了综合回顾,包括模型、应用和脑机制的建模,并提供了储备设计、编码框架统一、物理实现以及与认知神经科学和进化之间的相互作用等新视角。
Jul, 2023
以数值解求解普通微分方程为灵感,本文提出了一种新颖的储层计算模型,名为欧拉状态网络(EuSN)。该方法使用向前欧拉离散化和反对称循环矩阵来设计储层动力学,这些动力学是通过构造稳定且无耗散的方式实现的。我们的数学分析表明,所得模型偏向于具有单位的有效谱半径和零的局部李雅普诺夫指数,本质上在稳定边缘附近运行。长期记忆任务的实验结果表明,所提出的方法在需要有效传播多个时间步骤的输入信息的问题上优于标准的 RC 模型。此外,时间序列分类基准测试结果表明,EuSN 能够达到(甚至超过)可训练循环神经网络的准确率,同时保留 RC 家族的训练效率,导致计算时间约为 490 倍的节省和能源消耗约为 1750 倍的节省。
Mar, 2022
循环神经网络(RNN)被认为是在相对温和且普遍的条件下对动态系统进行普适逼近的工具,但通常在标准 RNN 训练中面临梯度消失和梯度爆炸问题。为解决这些问题,引入了一种特殊的 RNN,即储层计算(RC),其循环权重是随机化并且未经过训练,此方法在自然语言处理和无线通信等领域表现出卓越的实证性能,特别适用于训练样本极为有限的情况。本研究证明了 RNN 可以普遍逼近线性时不变(LTI)系统并提供了 RC 在泛化 LTI 系统中的解释。我们通过清晰的信号处理解释和理解,利用 RC 对一个通用的 LTI 系统进行了模拟。在这个设置下,我们分析了生成 RC 的未经训练的循环权重的最优概率分布函数,并进行了大量的数值验证。我们的工作提供了基于信号处理的 RC 模型可解释性,并为设置而非训练 RC 的未经训练循环权重提供了理论解释。这是朝着可解释机器学习(XML)的重要步骤,尤其适用于训练样本有限的应用。
Aug, 2023