Oct, 2022

针对地球系统变异应用的 Echo State Networks 分层相关性传播

PDF
TL;DR本文介绍如何使用层次相关传播技术和回声状态网络模型来提高模型可解释性，并使用海温异常来预测厄尔尼诺南方涛动现象，可以应用于时序预测和图像分类。
artificial neural networkslayer-wise relevance propagationecho state networkstime series predictionimage classification
发现论文，激发创造
  • 情感分析中解释循环神经网络预测

    本文提出了将 Layer-wise Relevance Propagation 扩展到递归神经网络的方法，并应用于五分类情感预测任务中的双向 LSTM 模型，其结果 qualitatively and quantitatively 均优于之前工作中使用的基于梯度的方法。

    Jun, 2017

  • 解释和解读 LSTMs

    本章节探究如何使 Layer-wise Relevance Propagation (LRP) 技术适用于序列数据建模和预测所使用的 LSTM 架构，需要更新传播方案并扩展基础理论框架以提供准确的解释。

    Sep, 2019

  • 利用 LRP 最佳实践解释神经网络决策

    本文研究探讨了解释型人工智能（XAI）中的一种常用方法 —— 层级相关性传递（LRP），发现新的应用方式能够更好地表征模型的推理，同时提高 LRP 的对象定位和类别区分性。

    Oct, 2019

  • NLP 中非线性分类器预测解释

    本研究使用层内重要性传播技术（LRP）首次探究其在自然语言处理（NLP）中的应用，特别是用于解释卷积神经网络（CNN）在主题分类任务中的预测结果，并通过多项实验验证 LRP 方法解释 CNN 预测的适用性，实验结果于最近的图像分类研究结果相符。

    Jun, 2016

  • Echo State Networks 中学习输入和循环权重矩阵

    本文主要介绍了一种利用 ESN 网络输出单元的线性特性，简化学习输入和循环矩阵的技术方法，并将其与 BPTT 技术相比较，发现该方法在信号分类方面表现更好。

    Nov, 2013

  • 深度回声状态网络与不确定性量化在时空预测中的应用

    介绍了一种应用于非线性、多元时间序列的深度集成 ESN 模型及其在美国长期土壤湿度预测中的应用。

    Jun, 2018

  • 可解释的深度神经网络用于单次试验的脑电波分类

    本研究探讨利用 DNNs 和 LRP 应用于 EEG 数据分析，发现 DNNs 在分类准确性上具有可比性，并且通过 LRP 的热图，可以提供神经活动高分辨率的评估，这是 DNN 在神经科学应用中被限制使用的可解释性不足的潜在解决方案。

    Apr, 2016

  • 进化回音状态网络：傅里叶空间中的演化储层

    本文提出了一种基于基因算法进行底层储备计算的正弦储备网络模型，该模型能够对经典 ESN 进行维度约简转换，以便更好地利用大型反馈结构的优势并避免梯度下降训练方法的问题。实验结果表明，该方法在混沌系统和真实世界数据方面具有较好的性能。

    Jun, 2022

  • 基于特征的回声状态网络：实现储备计算机可解释性与简约性的一步

    提出了一种新颖且可解释的循环神经网络结构，采用回声态网络（ESN）范例进行时间序列预测，并通过较小的并行储备池驱动不同输入组合的特征，非线性组合以产生输出，其预测能力表现优于传统单储备池 ESN。

    Mar, 2024

  • 通过反馈改善回波状态网络的性能

    通过将一些储备态的组成部分反馈到网络中的输入端，我们可以显著改善给定回声状态网络的性能。我们严格证明，对于任何给定的回声状态网络，反馈几乎总是会提高输出的准确性。在三个代表不同问题类别的任务中，我们发现通过反馈，平均误差的度量减少了 30%-60%。引人注目的是，与将初始计算节点数量翻倍的计算昂贵且技术上具有挑战性的替代方案相比，反馈提供了至少与之相当的性能提升。这些结果证明了这种反馈方案的广泛适用性和实用性。

    Dec, 2023