Dec, 2023

通过反馈改善回波状态网络的性能

PDF
TL;DR通过将一些储备态的组成部分反馈到网络中的输入端，我们可以显著改善给定回声状态网络的性能。我们严格证明，对于任何给定的回声状态网络，反馈几乎总是会提高输出的准确性。在三个代表不同问题类别的任务中，我们发现通过反馈，平均误差的度量减少了 30%-60%。引人注目的是，与将初始计算节点数量翻倍的计算昂贵且技术上具有挑战性的替代方案相比，反馈提供了至少与之相当的性能提升。这些结果证明了这种反馈方案的广泛适用性和实用性。
发现论文，激发创造
  • 基于特征的回声状态网络：实现储备计算机可解释性与简约性的一步

    提出了一种新颖且可解释的循环神经网络结构，采用回声态网络（ESN）范例进行时间序列预测，并通过较小的并行储备池驱动不同输入组合的特征，非线性组合以产生输出，其预测能力表现优于传统单储备池 ESN。

    Mar, 2024

  • 进化回音状态网络：傅里叶空间中的演化储层

    本文提出了一种基于基因算法进行底层储备计算的正弦储备网络模型，该模型能够对经典 ESN 进行维度约简转换，以便更好地利用大型反馈结构的优势并避免梯度下降训练方法的问题。实验结果表明，该方法在混沌系统和真实世界数据方面具有较好的性能。

    Jun, 2022

  • 深度回声状态网络与不确定性量化在时空预测中的应用

    介绍了一种应用于非线性、多元时间序列的深度集成 ESN 模型及其在美国长期土壤湿度预测中的应用。

    Jun, 2018

  • 稳定的边缘回响状态网络

    提出了一种新的 Reservoir Computing（RC）架构，称为 Edge of Stability Echo State Network（ES2N）。该 ES2N 模型基于将储层层定义为非线性储层（如标准 ESN）和实现正交变换的线性储层的凸组合。通过数学分析证明 ES2N 映射的整个 Jacobian 的特征谱可以包含在可控半径的复杂圆的环状邻域内，并利用这一属性证明 ES2N 的正向动力学设计得接近混沌边缘。实验分析表明，与标准 ESN 相比，这种新引入的储层模型能够达到理论上的最大短期记忆容量，并在自回归非线性建模中提供了一个有利的记忆和非线性折衷，以及显着的性能改进。

    Aug, 2023

  • Echo State Networks 中学习输入和循环权重矩阵

    本文主要介绍了一种利用 ESN 网络输出单元的线性特性，简化学习输入和循环矩阵的技术方法，并将其与 BPTT 技术相比较，发现该方法在信号分类方面表现更好。

    Nov, 2013

  • 利用回声状态网络检测广义同步

    研究测试了储层计算和普遍同步检测，通过 Rössler 混沌吸引子实现时间序列中的同步和非同步序列的区分，并证明了基于 ESN 的同步检测方法具有在线检测能力，对于监测连续信号的动力学同步变化具有很好的应用前景。

    Oct, 2017

  • 深度回声状态网络的记忆容量分析

    本文研究了一种新型深度 ESN，包括并行深度 ESN 和级联深度 ESN，分析了它们的存储容量和预测准确度，并发现并行深度 ESN 比传统浅层 ESN 实现了更好的预测效果，而级联深度 ESN 存储容量小于传统浅层 ESN，但是能提高整体预测精度。

    Jun, 2019

  • 深度回声状态网络 (DeepESN): 简要概述

    本文总结了 DeepESN 的发展、分析和应用，详细阐述了深度循环神经网络、储水池计算和状态动力学等方面的现有研究成果。

    Dec, 2017

  • 走向可解释机器学习：储层计算在无线接收处理中的有效性

    深度学习在无线通信等领域得到了迅速的应用，本文通过应用一种称为储备计算的学习技术对信道均衡进行研究，并提供了其操作的信号处理理论基础，通过模拟展示了通过优化初始化可以改善接收处理和符号检测性能，这是实现可解释机器学习和提高检测可靠性的首要步骤。

    Oct, 2023

  • 欧拉状态网络：非耗散性储备计算

    以数值解求解普通微分方程为灵感，本文提出了一种新颖的储层计算模型，名为欧拉状态网络（EuSN）。该方法使用向前欧拉离散化和反对称循环矩阵来设计储层动力学，这些动力学是通过构造稳定且无耗散的方式实现的。我们的数学分析表明，所得模型偏向于具有单位的有效谱半径和零的局部李雅普诺夫指数，本质上在稳定边缘附近运行。长期记忆任务的实验结果表明，所提出的方法在需要有效传播多个时间步骤的输入信息的问题上优于标准的 RC 模型。此外，时间序列分类基准测试结果表明，EuSN 能够达到（甚至超过）可训练循环神经网络的准确率，同时保留 RC 家族的训练效率，导致计算时间约为 490 倍的节省和能源消耗约为 1750 倍的节省。

    Mar, 2022