CVPRMar, 2017

可解释的结构演化 LSTM

PDF
TL;DR该论文提出了一种通过长短期记忆（LSTM）递归神经网络学习可解释数据表示的通用框架，该框架逐步随机地从数据中学习中间的可解释多层图结构，通过结构演化 LSTM 处理语义对象分析等应用，取得了明显的优势。
发现论文，激发创造
  • 树结构上的长短期记忆

    本文提出了一种基于树结构的长短时记忆网络模型 S-LSTM，用于实现文本语义组合和自然语言理解，比现有基于递归的模型效果更佳。

    Mar, 2015

  • 基于图 LSTM 的语义对象分析

    本文提出了一种新的基于图结构的 LSTM 网络 (Graph LSTM)，将任意形状的超像素作为拓扑结构的节点来自适应构建图拓扑结构，提供更加自然的信息传递路径，并使用自信度驱动的策略逐渐更新节点的隐藏状态和记忆状态。在四个数据集上进行综合评估表明，Graph LSTM 相对于其他最先进的解决方案具有显著的优越性。

    Mar, 2016

  • 树状长短期记忆网络改进语义表征

    介绍了 Tree-LSTM，一种适用于树状网络的 LSTM 结构，该系统表现优秀，可以应用于两个任务：预测两个句子的语义相关性和情感分类。

    Feb, 2015

  • 多元时间序列预测的演化和多尺度图结构学习

    本研究提出了一种基于层级图结构和扩张卷积的时变序列的预测方法，该方法使用一系列的邻接矩阵来表示不断演化的变量之间的相关性，并通过一个统一的神经网络模型来捕捉它们之间的动态和多尺度的交互作用，实验表明该方法在单步和多步预测任务中均优于现有的方法。

    Jun, 2022

  • 可视化和理解循环网络

    使用字符级语言模型作为可解释的测试平台，本研究分析了 LSTM 的表示、预测和错误类型，并揭示了其提高性能的长程结构依赖性的来源。

    Jun, 2015

  • 重新审视分层多尺度 LSTM

    本文通过对复杂深度学习架构的复制和单元分析，展示了对 Hierarchical Multiscale LSTM 语言模型在计算语言学研究方面应用的潜在限制。结论表明简化某些方面可以提高其性能，同时表明各级模型学习的语言单元质量与模型的性能没有相关性。

    Jul, 2018

  • 神经网络中的树状结构组成，无需树状结构架构

    本论文通过对人工数据任务的实验，研究了基于树结构和基于序列的神经网络模型对于递归组合结构的应用效果。结果表明，基于序列的 LSTM 模型同样能够识别该结构并进行相应运用，但树结构模型在处理这种结构时表现更为出色。

    Jun, 2015

  • 使用隐马尔可夫模型提高循环神经网络的可解释性

    本文介绍了一种利用长短时记忆模型和隐马尔科夫模型相结合的方法来提高循环神经网络的可解释性的途径，并在文本数据和医疗时间序列数据上测试了该算法，发现 LSTM 和 HMM 学习文本特征的信息互为补充。

    Nov, 2016

  • 应用基于图结构的 LSTM 算法进行 Reddit 上的对话建模

    本文介绍了一种新的方法，使用图形结构双向 LSTM 对社交媒体上的串行讨论进行建模，该方法代表了分层和时间会话结构。在 Reddit 讨论的评论受欢迎程度预测任务中，实验表明，所提出的模型比节点独立架构在不同的输入特征集上表现更好。分析表明，该模型在整个讨论过程中都具有优势，可以提高早期和晚期的检测效果。此外，使用带有双向树状状态更新的语言提示有助于识别具有争议性的评论。

    Apr, 2017

  • 学习长短期记忆内在稀疏结构

    该论文提出了一种内在稀疏结构方法，通过独立地减小 LSTM 单元内基本结构的尺寸并保持尺寸一致性来实现结构上稀疏的 LSTM，这种方法可以显著提高模型的速度而不会损失模型性能，并成功地被应用于不同的 RNN 架构。

    Sep, 2017