Sep, 2019

解释和解读 LSTMs

PDF
TL;DR本章节探究如何使 Layer-wise Relevance Propagation (LRP) 技术适用于序列数据建模和预测所使用的 LSTM 架构，需要更新传播方案并扩展基础理论框架以提供准确的解释。
neural networkslayer-wise relevance propagation (lrp)lstm architecturesequential data modelingpropagation scheme
发现论文，激发创造
  • 情感分析中解释循环神经网络预测

    本文提出了将 Layer-wise Relevance Propagation 扩展到递归神经网络的方法，并应用于五分类情感预测任务中的双向 LSTM 模型，其结果 qualitatively and quantitatively 均优于之前工作中使用的基于梯度的方法。

    Jun, 2017

  • 利用 LRP 最佳实践解释神经网络决策

    本文研究探讨了解释型人工智能（XAI）中的一种常用方法 —— 层级相关性传递（LRP），发现新的应用方式能够更好地表征模型的推理，同时提高 LRP 的对象定位和类别区分性。

    Oct, 2019

  • 基于标准化 LSTM 和层级相关传播的数字孪生道路可解释的在线变道预测

    该研究提出了一种创新的方法和技术实现，使用层次规范化的 LSTM 和基于 LRP 的方法来解释车道变更预测。其目的是为了增加人类信赖并减少人工智能系统的错误率。

    Apr, 2022

  • NLP 中非线性分类器预测解释

    本研究使用层内重要性传播技术（LRP）首次探究其在自然语言处理（NLP）中的应用，特别是用于解释卷积神经网络（CNN）在主题分类任务中的预测结果，并通过多项实验验证 LRP 方法解释 CNN 预测的适用性，实验结果于最近的图像分类研究结果相符。

    Jun, 2016

  • 分层反馈传播

    该研究介绍了一种名为层次反馈传播 (LFP) 的新型训练方法，利用可解释性、具体而言是层次相关传播 (LRP)，为神经网络预测器中的个别连接分配奖励，以其对解决给定任务的贡献为基础。与传统的梯度下降方法不同，LFP 在不需要梯度计算的情况下在模型中传播奖励信号。它增强了接收到积极反馈的结构，同时减少了接收到负反馈的结构的影响。理论上和经验证实了 LFP 的收敛性，并展示了在各种模型和数据集上与梯度下降方法相当的性能。值得注意的是，LFP 可以克服与基于梯度的方法相关的某些局限性，例如依赖有意义的导数。此外，我们还研究了如何将不同的 LRP 规则扩展到 LFP 中，它们对训练的影响以及潜在的应用，例如训练没有有意义的导数的模型，例如阶跃函数激活的脉冲神经网络 (SNN)，或用于转移学习，以高效利用现有知识。

    Aug, 2023

  • 面向知识追踪的可解释深度学习模型

    本文通过使用层级相关传播方法（Layer-wise Relevance Propagation, LRP）对深度神经网络的知识追踪模型进行解释，以提高模型的可解释性，并验证了分别从问题层面和概念层面计算相关评分的可行性，从而推进深度学习的知识追踪模型在教育领域中的实际应用。

    May, 2020

  • 针对地球系统变异应用的 Echo State Networks 分层相关性传播

    本文介绍如何使用层次相关传播技术和回声状态网络模型来提高模型可解释性，并使用海温异常来预测厄尔尼诺南方涛动现象，可以应用于时序预测和图像分类。

    Oct, 2022

  • 可视化和理解循环网络

    使用字符级语言模型作为可解释的测试平台，本研究分析了 LSTM 的表示、预测和错误类型，并揭示了其提高性能的长程结构依赖性的来源。

    Jun, 2015

  • 解释性深度学习模型用于专利分类中的黑匣子揭示

    通过介绍层次相关传播方法，我们提出了一种新颖的深度可解释专利分类框架，用于提供人类可理解的预测解释。实验结果表明，对于各种评估指标，生成的解释突出了与预测类别相一致的重要相关词汇，使预测结果更易理解，并有助于推广复杂的 AI 专利分类方法在实际应用中的采用。

    Oct, 2023

  • 评估循环神经网络解释

    研究通过将每个输入变量分配相关性来解释递归神经网络（RNNs）的预测，并评估了不同的方法以及它们如何对情感预测建立句子级表征。

    Apr, 2019