WWWMar, 2019

透過加法分解決定循環神經網路預測的歸因

PDF
TL;DR本文提出了一种新的 RNN 解释方法 ——REAT，旨在提高其可解释能力并能够识别其决策过程中每个单词的加成贡献得分，继而得到基于短语级别的贡献评分，展示作为调试工具支持 RNN 的普适应用，它能展示所捕获的有用的语言知识。
rnn modelsinterpretabilityrationalesreat attribution methodlinguistic knowledge
发现论文，激发创造
  • 用于可解释系统日志异常检测的循环神经网络注意力机制

    本研究中，我们利用带有 attention 机制的 RNN 语言模型来进行深度学习方法的可解释性应用于计算机系统和日志数据的异常检测，实现了卓越的性能和可解释性。

    Mar, 2018

  • 利用隐马尔科夫模型提高循环神经网络的可解释性

    通过将循环神经网络与隐马尔科夫模型相结合，旨在增加其可解释性，发现 LSTM 和 HMM 可以学习互补的文本特征信息。

    Jun, 2016

  • 评估循环神经网络解释

    研究通过将每个输入变量分配相关性来解释递归神经网络（RNNs）的预测，并评估了不同的方法以及它们如何对情感预测建立句子级表征。

    Apr, 2019

  • 情绪分类的循环网络反向工程揭示了线吸引子动力学

    本文利用动态系统分析工具来反向工程文本情感分类的循环神经网络，证明训练过的循环神经网络可以收敛到高度可解释、低维表示的固定点，并揭示循环神经网络内部存在近似线吸引子的机制以量化的方式解释循环神经网络完成情感分析任务的过程。此外，该机制在多个数据集和不同架构下仍然存在，呈现出令人惊讶的通用性和可解释性。

    Jun, 2019

  • 将递归神经网络分解为模块以实现可重用性和替代性

    本文提出了一种将循环神经网络分解为模块化的方法，可以解决现有神经网络模型的缺陷，并且可以在不需要从头开始训练模型的情况下重用和替换这些模块，该方法通过 5 个标准数据集的评估发现，其准确率的下降仅为 0.6％而 BLEU 得分上升了 0.10％。

    Dec, 2022

  • 相对属性传播：解释深度神经网络中个体单元的比较贡献

    该论文提出了一种新的方法 Relative Attributing Propagation (RAP)，通过将神经元标注为正面和负面属性来解释深度神经网络的结果，从而使得其解释更为清晰可视化。通过基于相关度分配的优先级，该方法可以对神经元进行双极重要性评分，从而使得其解释更为贴近实际。

    Apr, 2019

  • Transformer 可解释性转移到 RNN 中吗？

    最近在递归神经网络（RNN）架构方面取得的进展，例如 Mamba 和 RWKV，使得 RNN 在语言建模困惑度和下游评估方面与同等规模的变压器相匹配或超过，这表明未来的系统可能会建立在全新的架构之上。本文研究了最初设计用于变压器语言模型的选定可解释性方法是否适用于这些新兴的递归神经网络架构。具体来说，我们专注于通过对比激活添加来控制模型输出，使用调整后的镜头引发潜在预测，并从针对特定条件下生成错误输出的模型中获取潜在知识。我们的结果表明，当应用于 RNN 时，这些技术大多是有效的，并且我们还展示了通过利用 RNN 的压缩状态，可以改善其中一些技术。

    Apr, 2024

  • 研究和修订语言模型的输出：使用语言模型

    提出了一种名为 RARR 的系统，它是一种修复文本生成模型输出的方法，并在最大限度保留原有输出的情况下修复不受支持的内容，该系统在要求较少的情况下可以有效地提高语言模型的归因。

    Oct, 2022

  • RAAT: 文档级事件抽取中基于关系建模的关系增强注意力 Transformer

    本文提出了一种新的文档级事件抽取框架 ReDEE，该框架可以建模关系依赖性并采用了多任务学习方法来提高事件抽取的性能。实验证明，该方法在两个公共数据集上均可达到最先进的性能水平。

    Jun, 2022

  • 使用隐马尔可夫模型提高循环神经网络的可解释性

    本文介绍了一种利用长短时记忆模型和隐马尔科夫模型相结合的方法来提高循环神经网络的可解释性的途径，并在文本数据和医疗时间序列数据上测试了该算法，发现 LSTM 和 HMM 学习文本特征的信息互为补充。

    Nov, 2016