深度回声状态网络 (DeepESN): 简要概述
本文研究了一种新型深度 ESN,包括并行深度 ESN 和级联深度 ESN,分析了它们的存储容量和预测准确度,并发现并行深度 ESN 比传统浅层 ESN 实现了更好的预测效果,而级联深度 ESN 存储容量小于传统浅层 ESN,但是能提高整体预测精度。
Jun, 2019
本文提出了一种基于基因算法进行底层储备计算的正弦储备网络模型,该模型能够对经典 ESN 进行维度约简转换,以便更好地利用大型反馈结构的优势并避免梯度下降训练方法的问题。实验结果表明,该方法在混沌系统和真实世界数据方面具有较好的性能。
Jun, 2022
提出了一种新颖且可解释的循环神经网络结构,采用回声态网络(ESN)范例进行时间序列预测,并通过较小的并行储备池驱动不同输入组合的特征,非线性组合以产生输出,其预测能力表现优于传统单储备池 ESN。
Mar, 2024
本文主要介绍了一种利用 ESN 网络输出单元的线性特性,简化学习输入和循环矩阵的技术方法,并将其与 BPTT 技术相比较,发现该方法在信号分类方面表现更好。
Nov, 2013
通过将一些储备态的组成部分反馈到网络中的输入端,我们可以显著改善给定回声状态网络的性能。我们严格证明,对于任何给定的回声状态网络,反馈几乎总是会提高输出的准确性。在三个代表不同问题类别的任务中,我们发现通过反馈,平均误差的度量减少了 30%-60%。引人注目的是,与将初始计算节点数量翻倍的计算昂贵且技术上具有挑战性的替代方案相比,反馈提供了至少与之相当的性能提升。这些结果证明了这种反馈方案的广泛适用性和实用性。
Dec, 2023
提出了一种新的 Reservoir Computing(RC)架构,称为 Edge of Stability Echo State Network(ES2N)。该 ES2N 模型基于将储层层定义为非线性储层(如标准 ESN)和实现正交变换的线性储层的凸组合。通过数学分析证明 ES2N 映射的整个 Jacobian 的特征谱可以包含在可控半径的复杂圆的环状邻域内,并利用这一属性证明 ES2N 的正向动力学设计得接近混沌边缘。实验分析表明,与标准 ESN 相比,这种新引入的储层模型能够达到理论上的最大短期记忆容量,并在自回归非线性建模中提供了一个有利的记忆和非线性折衷,以及显着的性能改进。
Aug, 2023
这篇文章介绍了一种超图回声状态网络(HypergraphESN)作为图回声状态网络(GraphESN)的推广,旨在高效处理超图结构数据,并导出了算法的收敛条件,讨论了与 GraphESN 相比的多样性。对于超图结构数据,对二元分类任务的数值实验表明,HypergraphESN 与 GraphESN 相比具有相当或更好的准确性性能,并且准确性会随着发现网络中更多的高阶交互作用而增加。
Oct, 2023
在异质性图上处理节点分类任务是具有挑战性的,本文提出使用图回声状态网络(Graph Echo State Network,GESN)来解决这一挑战。结果表明,与完全训练的深度模型相比,GESN 能够实现更好或相当的精度,同时在效率 / 准确性平衡方面有所改进,并且能够有效编码图节点的结构关系。
May, 2023
研究测试了储层计算和普遍同步检测,通过 Rössler 混沌吸引子实现时间序列中的同步和非同步序列的区分,并证明了基于 ESN 的同步检测方法具有在线检测能力,对于监测连续信号的动力学同步变化具有很好的应用前景。
Oct, 2017