自回归型时间序列数据的完全预测水库计算的数学结构
储备计算(RC)是一种递归神经网络,通过随机连接神经元实现对时间信号处理的应用。该模型具有丰富的动力学、线性可分性和记忆能力,可在各种应用中生成适当的响应。RC 的研究领域涉及机器学习、物理学、生物学和神经科学,可应用于物理硬件和生物设备的复杂动力学实现及对大脑机制的理解。本文对 RC 的发展进行了综合回顾,包括模型、应用和脑机制的建模,并提供了储备设计、编码框架统一、物理实现以及与认知神经科学和进化之间的相互作用等新视角。
Jul, 2023
循环神经网络(RNN)被认为是在相对温和且普遍的条件下对动态系统进行普适逼近的工具,但通常在标准 RNN 训练中面临梯度消失和梯度爆炸问题。为解决这些问题,引入了一种特殊的 RNN,即储层计算(RC),其循环权重是随机化并且未经过训练,此方法在自然语言处理和无线通信等领域表现出卓越的实证性能,特别适用于训练样本极为有限的情况。本研究证明了 RNN 可以普遍逼近线性时不变(LTI)系统并提供了 RC 在泛化 LTI 系统中的解释。我们通过清晰的信号处理解释和理解,利用 RC 对一个通用的 LTI 系统进行了模拟。在这个设置下,我们分析了生成 RC 的未经训练的循环权重的最优概率分布函数,并进行了大量的数值验证。我们的工作提供了基于信号处理的 RC 模型可解释性,并为设置而非训练 RC 的未经训练循环权重提供了理论解释。这是朝着可解释机器学习(XML)的重要步骤,尤其适用于训练样本有限的应用。
Aug, 2023
利用表面流动液膜上激发的孤立波,实验证明一种物理上的储备计算系统,该系统通过对输入数据进行非线性转换来替代随机性的影响,从而作为传统储备计算算法的技术简单的硬件改进。
Jan, 2024
本文研究使用循环神经网络以及储备计算和时域反向传播来预测高维和低维复杂系统的时空动态,结果表明:对于长期预测混沌系统,当全部状态动态数据用于训练时,储备计算方法的预测性能优于时域反向传播,但在使用低维数据时时域反向传播方法表现更好。同时该研究还首次量化了使用时域反向传播方法的 Lyapunov 谱。
Oct, 2019
采用水库计算方法的多元时间序列分类技术,基于线性模型训练产生 MTS 的低维嵌入的参数来编码每个 MTS,应用时附带中间的维度重组程序,以及提供不同的模块以轻松创建高级的 RC 架构的增量式 RC 框架,比其他 MTS 分类器更快,还能实现更高的分类精度。
Mar, 2018
预测具有外部驱动相位快速变化的非自治动力系统的可行性进行了研究,结果表明,尽管存在隐藏变量,但非自治动力系统仍然是可预测的,并且储层计算机可以为个体轮班工人提供更好的计划安排。
Apr, 2024
我们的研究引入了一种新型的双存储器 RC 系统,通过基于 WOx 的忆阻器实现 16 个不同状态的编码和基于 TiOx 的忆阻器实现长期记忆单元,实现了处理时间数据集的能力。通过对孤立语音数字识别和 Mackey-Glass 时间序列预测的基准任务的验证,该系统在数字识别中达到了 98.84% 的准确率,在时间序列预测任务中保持了较低的规范化均方根误差(NRMSE)0.036,突出了其能力。本研究揭示了基于忆阻器的 RC 系统在处理复杂时间挑战方面的能力,为神经形态计算的进一步创新奠定了基础。
Mar, 2024
应用深度学习量化不确定性是实现电网管理中精确可靠的时间序列预测的关键,本研究探索并比较了在水库计算中采用的贝叶斯和确定性方法对预测准确性、计算资源效率和估计不确定性可靠性的影响。
Aug, 2023
通过对特定的 RC 体系结构和其对应的递归核公式的等效性进行实证分析,本研究填补了基于泄漏型 RC、稀疏 RC 和深层 RC 等众多已建立的 RC 范式尚未进行该等效性分析的空白。我们通过变化各个体系结构中实施的激活函数进行了收敛性研究。我们的研究还揭示了稀疏连接在 RC 体系结构中的作用,并提出了与水库尺寸有关的最佳稀疏程度。此外,我们的系统分析表明,在深层 RC 模型中,通过逐渐减小水库大小的连续水库可以更好地实现收敛。
Jan, 2024