通过将一些储备态的组成部分反馈到网络中的输入端，我们可以显著改善给定回声状态网络的性能。我们严格证明，对于任何给定的回声状态网络，反馈几乎总是会提高输出的准确性。在三个代表不同问题类别的任务中，我们发现通过反馈，平均误差的度量减少了 30%-60%。引人注目的是，与将初始计算节点数量翻倍的计算昂贵且技术上具有挑战性的替代方案相比，反馈提供了至少与之相当的性能提升。这些结果证明了这种反馈方案的广泛适用性和实用性。

Dec, 2023

本文提出了一种基于基因算法进行底层储备计算的正弦储备网络模型，该模型能够对经典 ESN 进行维度约简转换，以便更好地利用大型反馈结构的优势并避免梯度下降训练方法的问题。实验结果表明，该方法在混沌系统和真实世界数据方面具有较好的性能。

Jun, 2022

本文研究神经网络的训练优化问题，利用噪音及扰动的梯度下降和随机梯度下降算法能够在多项式时间内收敛到全局最优解，消除了局部最优解问题。

Sep, 2019

本文主要介绍了一种利用 ESN 网络输出单元的线性特性，简化学习输入和循环矩阵的技术方法，并将其与 BPTT 技术相比较，发现该方法在信号分类方面表现更好。

Nov, 2013

本文探讨了在嘈杂数据下训练循环神经网络的问题，并提出了使用卡尔曼滤波器的序贯训练算法来优化基于回声状态网络的动态预测器，该方法在两个混沌动力系统的合成数据集和实时交通数据集上表现优秀。

Apr, 2023

本文研究了离散时间下具有动量的 SGD 的时域白噪声的自相关，并研究了 epoch-based 噪声相关性对于 SGD 的影响，结果表明对于大于超参数相关值的曲率方向，可以恢复无关噪声的结果，但对于相对平坦的方向，权重方差显著降低。

Jun, 2023

在异质性图上处理节点分类任务是具有挑战性的，本文提出使用图回声状态网络（Graph Echo State Network，GESN）来解决这一挑战。结果表明，与完全训练的深度模型相比，GESN 能够实现更好或相当的精度，同时在效率 / 准确性平衡方面有所改进，并且能够有效编码图节点的结构关系。

May, 2023

介绍了一种应用于非线性、多元时间序列的深度集成 ESN 模型及其在美国长期土壤湿度预测中的应用。

Jun, 2018

本研究提出了一种新方法，用于分析已知模型下统计推断的基本限制，并得出了对互信息、最小均方误差、相变点及近似消息传递算法状态演化的稳定点等的显式公式，其中关键的假设是矩阵来自正交不变分布，本方法适用于具有多元高斯信道的模型。

Oct, 2017

提出了一种新的 Reservoir Computing（RC）架构，称为 Edge of Stability Echo State Network（ES2N）。该 ES2N 模型基于将储层层定义为非线性储层（如标准 ESN）和实现正交变换的线性储层的凸组合。通过数学分析证明 ES2N 映射的整个 Jacobian 的特征谱可以包含在可控半径的复杂圆的环状邻域内，并利用这一属性证明 ES2N 的正向动力学设计得接近混沌边缘。实验分析表明，与标准 ESN 相比，这种新引入的储层模型能够达到理论上的最大短期记忆容量，并在自回归非线性建模中提供了一个有利的记忆和非线性折衷，以及显着的性能改进。

Aug, 2023