研究线性循环网络在遵守离散时间动力学的情况下，存储可从网络瞬时状态中检索的长时间序列的能力。 计算分布式移位寄存器和随机正交连接矩阵的时间记忆容量。 随着系统规模的增大，这些网络的记忆容量呈比例关系。
Feb, 2004
研究了随机连接的线性网络对于执行近似稀疏输入信号的短期记忆（STM）的容量，利用了压缩感知结果提供了严格的非渐近恢复保证，量化了输入稀疏级别、输入稀疏基、网络特性对系统容量的影响，证明网络内存容量可以与节点数量超线性地扩展，并且在某些情况下可以实现远大于网络大小的 STM 容量。
Jul, 2013
使用深度时滞水库计算的方法，通过分析条件 Lyapunov 指数和系统到分岔点的距离，调节线性和非线性记忆容量的分布，得出了高非线性或长时间线性记忆容量的系统设计。
Jun, 2020
通过计算雅可比矩阵中涉及亏格阵幂和 Khati-Rao 乘积的矩阵的秩，我们确定了具有 m 个隐藏神经元和输入维度 d（即，md+m 个可训练参数）的双层神经网络的记忆容量下界为 md/2，并以大约 2 倍的优势进行了最优性分析。
Aug, 2023
本文提出了一类用于索引和存储符号序列或模拟数据向量的递归神经网络，利用储池计算的性质，采用随机输入权重和正交递归权重实现之前在向量符号体系结构（VSA）中描述的编码原理，并提出了优化语音缓存网络，使其能够在处理数据流时在线工作的新型 VSA 模型的设计。
Feb, 2018
研究了基于记忆的神经网络在处理具有复杂关系的任务时的能力，提出了一种新的内存模块 RMC，它使用多头点积注意力机制来加强记忆之间的交互，达到了在多个领域的最先进结果。
Jun, 2018
研究说明传统的循环神经网络（RNNs）在需要长期记忆的任务上表现不佳的原因是因为其随机初始化后的转移矩阵方差造成了梯度消失和梯度爆炸的问题，而使用线性 RNNs 代替时会出现更短的记忆偏差，这一理论经过人工数据和真实数据的验证。
Jan, 2021
本文研究了一种新型深度 ESN，包括并行深度 ESN 和级联深度 ESN，分析了它们的存储容量和预测准确度，并发现并行深度 ESN 比传统浅层 ESN 实现了更好的预测效果，而级联深度 ESN 存储容量小于传统浅层 ESN，但是能提高整体预测精度。
Jun, 2019
本文主要介绍了一种利用 ESN 网络输出单元的线性特性，简化学习输入和循环矩阵的技术方法，并将其与 BPTT 技术相比较，发现该方法在信号分类方面表现更好。
Nov, 2013
提出了一种新的 Reservoir Computing（RC）架构，称为 Edge of Stability Echo State Network（ES2N）。该 ES2N 模型基于将储层层定义为非线性储层（如标准 ESN）和实现正交变换的线性储层的凸组合。通过数学分析证明 ES2N 映射的整个 Jacobian 的特征谱可以包含在可控半径的复杂圆的环状邻域内，并利用这一属性证明 ES2N 的正向动力学设计得接近混沌边缘。实验分析表明，与标准 ESN 相比，这种新引入的储层模型能够达到理论上的最大短期记忆容量，并在自回归非线性建模中提供了一个有利的记忆和非线性折衷，以及显着的性能改进。