深度回声状态网络的记忆容量分析
提出了一种新颖且可解释的循环神经网络结构,采用回声态网络(ESN)范例进行时间序列预测,并通过较小的并行储备池驱动不同输入组合的特征,非线性组合以产生输出,其预测能力表现优于传统单储备池 ESN。
Mar, 2024
通过将一些储备态的组成部分反馈到网络中的输入端,我们可以显著改善给定回声状态网络的性能。我们严格证明,对于任何给定的回声状态网络,反馈几乎总是会提高输出的准确性。在三个代表不同问题类别的任务中,我们发现通过反馈,平均误差的度量减少了 30%-60%。引人注目的是,与将初始计算节点数量翻倍的计算昂贵且技术上具有挑战性的替代方案相比,反馈提供了至少与之相当的性能提升。这些结果证明了这种反馈方案的广泛适用性和实用性。
Dec, 2023
本文提出了一种基于基因算法进行底层储备计算的正弦储备网络模型,该模型能够对经典 ESN 进行维度约简转换,以便更好地利用大型反馈结构的优势并避免梯度下降训练方法的问题。实验结果表明,该方法在混沌系统和真实世界数据方面具有较好的性能。
Jun, 2022
提出了一种新的 Reservoir Computing(RC)架构,称为 Edge of Stability Echo State Network(ES2N)。该 ES2N 模型基于将储层层定义为非线性储层(如标准 ESN)和实现正交变换的线性储层的凸组合。通过数学分析证明 ES2N 映射的整个 Jacobian 的特征谱可以包含在可控半径的复杂圆的环状邻域内,并利用这一属性证明 ES2N 的正向动力学设计得接近混沌边缘。实验分析表明,与标准 ESN 相比,这种新引入的储层模型能够达到理论上的最大短期记忆容量,并在自回归非线性建模中提供了一个有利的记忆和非线性折衷,以及显着的性能改进。
Aug, 2023
本文主要介绍了一种利用 ESN 网络输出单元的线性特性,简化学习输入和循环矩阵的技术方法,并将其与 BPTT 技术相比较,发现该方法在信号分类方面表现更好。
Nov, 2013
该研究旨在解决云无线电接入网络中预测式缓存的问题,通过利用基带单元的机器学习框架并结合子线性算法,确定内容缓存,研究发现该方法相较于随机缓存算法提高了 27.8%至 30.7%的有效容量。
Jul, 2016
使用局部状态观察研究动力系统的问题在于其适用于许多现实世界的系统。我们通过提出具有局部状态输入和局部或全部状态输出的回声状态网络框架来解决这个问题,结合 Lorenz 系统和 Chua 的振荡器进行验证,表明该方法的有效性。因此,我们证明了 ESN 作为一种自主动力系统具有短期预测数个 Lyapunov 时间的能力,并能有效地学习系统的动态,因此具有作为预测完全观测不可用的系统的动态的廉价代理模型的潜力。
Jun, 2023
使用基于忆阻器的回声状态网络加速器,在边缘设备上进行高效的时间序列数据处理和在线学习,与软件模型相比性能仅下降约 4.8%,并实现了 246 倍的能源消耗降低。
May, 2024