Oct, 2017

理解循环神经网络中的隐藏记忆

PDF
TL;DR本文提出了一种基于可视化分析的方法，通过理解和比较用于自然语言处理的循环神经网络模型，包括基于各个隐藏状态单元对输入文本的响应和相似性进行 聚类和可视化，以及通过基于聚合信息的图标序列可视化分析 RNN 的隐藏状态的行为，实验结果表明该方法在领域专家的案例研究和评论中具有可用性和有效性。
recurrent neural networksvisual analyticsnatural language processingco-clusteringhidden states
发现论文，激发创造
  • 利用隐马尔科夫模型提高循环神经网络的可解释性

    通过将循环神经网络与隐马尔科夫模型相结合，旨在增加其可解释性，发现 LSTM 和 HMM 可以学习互补的文本特征信息。

    Jun, 2016

  • 可视化和理解循环网络

    使用字符级语言模型作为可解释的测试平台，本研究分析了 LSTM 的表示、预测和错误类型，并揭示了其提高性能的长程结构依赖性的来源。

    Jun, 2015

  • 通过循环引发的隐式 N 元语法

    本研究发现，循环神经网络（RNNs）内置一些可以解释的组件，这些组件类似于经典的 n-gram 特征。从训练的 RNNs 中提取这些可解释的特征，用于下游情感分析任务，发现它们可以用于建模否定和强调等有趣的语言现象，并且可以充当 RNNs 总体性能的重要组成部分。此研究有望提高 RNNs 的可解释性，并为提出新的序列数据架构提供启发。

    May, 2022

  • 循环神经网络在序列学习中的关键评估

    本文对于近三十年来产生和实践了重要的循环神经网络（RNN），LSTM 和 BRNN 等模型的研究进行综述，旨在提供一个自成体系的最前沿阐述和历史视角，并引用了相关研究文献。

    May, 2015

  • 神经网络想象的可视化

    通过用循环神经网络 (RNN) 架构和解码器对网络的中间表示进行训练来可视化网络代表的环境状态，提出定量解释性指标并证明隐藏状态在简单任务上具有较高的可解释性，同时开发自编码器和对抗技术并展示其对解释性的好处。

    May, 2024

  • 可逆循环神经网络

    该研究提出了一种称为可逆 RNN 的方法，用于优化循环神经网络，该方法可以在不存储 hidden activations 的情况下实现完全可逆，并降低激活内存成本，扩展到 attention-based sequence-to-sequence 模型中效果显著。

    Oct, 2018

  • 使用隐马尔可夫模型提高循环神经网络的可解释性

    本文介绍了一种利用长短时记忆模型和隐马尔科夫模型相结合的方法来提高循环神经网络的可解释性的途径，并在文本数据和医疗时间序列数据上测试了该算法，发现 LSTM 和 HMM 学习文本特征的信息互为补充。

    Nov, 2016

  • 循环记忆网络语言建模

    本文提出了一种新的循环神经网络体系结构 Recurrent Memory Network（RMN），不仅能够放大循环神经网络的作用，而且有助于我们理解其内部功能并发现数据中的潜在模式。在语言建模和句子完成任务上展示了 RMN 的强大性能。在长句完成挑战中，RMN 的准确性为 69.2％，超过了以前的最新技术水平。

    Jan, 2016

  • 评估循环神经网络解释

    研究通过将每个输入变量分配相关性来解释递归神经网络（RNNs）的预测，并评估了不同的方法以及它们如何对情感预测建立句子级表征。

    Apr, 2019

  • 语音识别中门控循环神经网络的记忆可视化

    本文使用可视化技术研究了 LSTM 和 GRU 在语音识别任务中的行为，并提出两种简单而有效的网络结构修改：LSTM 中的懒惰单元更新和残差学习的快捷连接。两种修改都使得网络更加易于理解和强大。

    Sep, 2016