Mar, 2022

欧拉状态网络：非耗散性储备计算

PDF
TL;DR以数值解求解普通微分方程为灵感，本文提出了一种新颖的储层计算模型，名为欧拉状态网络（EuSN）。该方法使用向前欧拉离散化和反对称循环矩阵来设计储层动力学，这些动力学是通过构造稳定且无耗散的方式实现的。我们的数学分析表明，所得模型偏向于具有单位的有效谱半径和零的局部李雅普诺夫指数，本质上在稳定边缘附近运行。长期记忆任务的实验结果表明，所提出的方法在需要有效传播多个时间步骤的输入信息的问题上优于标准的 RC 模型。此外，时间序列分类基准测试结果表明，EuSN 能够达到（甚至超过）可训练循环神经网络的准确率，同时保留 RC 家族的训练效率，导致计算时间约为 490 倍的节省和能源消耗约为 1750 倍的节省。
reservoir computingeuler state networklong-term memorystabilitytime-series classification
发现论文，激发创造
  • 稳定的边缘回响状态网络

    提出了一种新的 Reservoir Computing（RC）架构，称为 Edge of Stability Echo State Network（ES2N）。该 ES2N 模型基于将储层层定义为非线性储层（如标准 ESN）和实现正交变换的线性储层的凸组合。通过数学分析证明 ES2N 映射的整个 Jacobian 的特征谱可以包含在可控半径的复杂圆的环状邻域内，并利用这一属性证明 ES2N 的正向动力学设计得接近混沌边缘。实验分析表明，与标准 ESN 相比，这种新引入的储层模型能够达到理论上的最大短期记忆容量，并在自回归非线性建模中提供了一个有利的记忆和非线性折衷，以及显着的性能改进。

    Aug, 2023

  • 进化回音状态网络：傅里叶空间中的演化储层

    本文提出了一种基于基因算法进行底层储备计算的正弦储备网络模型，该模型能够对经典 ESN 进行维度约简转换，以便更好地利用大型反馈结构的优势并避免梯度下降训练方法的问题。实验结果表明，该方法在混沌系统和真实世界数据方面具有较好的性能。

    Jun, 2022

  • 通过反馈改善回波状态网络的性能

    通过将一些储备态的组成部分反馈到网络中的输入端，我们可以显著改善给定回声状态网络的性能。我们严格证明，对于任何给定的回声状态网络，反馈几乎总是会提高输出的准确性。在三个代表不同问题类别的任务中，我们发现通过反馈，平均误差的度量减少了 30%-60%。引人注目的是，与将初始计算节点数量翻倍的计算昂贵且技术上具有挑战性的替代方案相比，反馈提供了至少与之相当的性能提升。这些结果证明了这种反馈方案的广泛适用性和实用性。

    Dec, 2023

  • 基于电生理数据的神经元相互作用映射和预测的储备计算模型

    用电生理测量数据构建了计算模型，基于储水池计算网络（Reservoir Computing Network，RCN）架构，通过预测网络连接性地图和局部刺激的网络响应来重构神经元网络结构。

    Nov, 2023

  • 深度回声状态网络与不确定性量化在时空预测中的应用

    介绍了一种应用于非线性、多元时间序列的深度集成 ESN 模型及其在美国长期土壤湿度预测中的应用。

    Jun, 2018

  • 走向可解释机器学习：储层计算在无线接收处理中的有效性

    深度学习在无线通信等领域得到了迅速的应用，本文通过应用一种称为储备计算的学习技术对信道均衡进行研究，并提供了其操作的信号处理理论基础，通过模拟展示了通过优化初始化可以改善接收处理和符号检测性能，这是实现可解释机器学习和提高检测可靠性的首要步骤。

    Oct, 2023

  • 基于特征的回声状态网络：实现储备计算机可解释性与简约性的一步

    提出了一种新颖且可解释的循环神经网络结构，采用回声态网络（ESN）范例进行时间序列预测，并通过较小的并行储备池驱动不同输入组合的特征，非线性组合以产生输出，其预测能力表现优于传统单储备池 ESN。

    Mar, 2024

  • 适用于时间数据分析的经常性随机配置网络

    开发适用于问题解决的随机配置网络的循环版本，无需对输入变量的动态顺序进行基本假设，并通过监督机制构建初始模型并通过投影算法在线更新输出权重，从而在时间数据建模技术方面取得了显着突破。

    Jun, 2024

  • 关于蓄水池计算及其超越传统机器学习的跨学科应用的调查

    储备计算（RC）是一种递归神经网络，通过随机连接神经元实现对时间信号处理的应用。该模型具有丰富的动力学、线性可分性和记忆能力，可在各种应用中生成适当的响应。RC 的研究领域涉及机器学习、物理学、生物学和神经科学，可应用于物理硬件和生物设备的复杂动力学实现及对大脑机制的理解。本文对 RC 的发展进行了综合回顾，包括模型、应用和脑机制的建模，并提供了储备设计、编码框架统一、物理实现以及与认知神经科学和进化之间的相互作用等新视角。

    Jul, 2023

  • 无限维储水池计算

    提出了一种基于无限维状态空间系统积分表示的读出特性的新概念类，它具有较强的实用性和通用近似性质，其中利用了随机生成的线性或 ReLU 激活函数的回声状态网络，并以仅训练输出层的随机神经网络为基础构建读出模型，所得到的结果是具有证明收敛性保证的可全面实现的递归神经网络学习算法，不受维度灾难影响。

    Apr, 2023