ICMLMar, 2015

树结构上的长短期记忆

PDF
TL;DR本文提出了一种基于树结构的长短时记忆网络模型 S-LSTM，用于实现文本语义组合和自然语言理解，比现有基于递归的模型效果更佳。
发现论文，激发创造
  • 树状长短期记忆网络改进语义表征

    介绍了 Tree-LSTM，一种适用于树状网络的 LSTM 结构，该系统表现优秀，可以应用于两个任务：预测两个句子的语义相关性和情感分类。

    Feb, 2015

  • 自顶向下的树形长短期记忆网络

    本文提出了一种名为 Tree Long Short-Term Memory (TreeLSTM) 的神经网络模型，它基于 LSTM 并专门用于预测树结构，同时通过明确表示左右句法相关性，提高了建模能力。在 MSR 句子完成挑战和依存分析重排序方面的应用，都达到了当前最先进技术水平的效果。

    Oct, 2015

  • 使用长短时记忆的组合分布式语义

    本文提出了一种递归神经网络的扩展，使用了一种长短期记忆结构的变体。该扩展允许将位于解析树底部的信息存储在内存寄存器（“内存单元”）中，并在解析树的较高位置上使用。这提供了一个解决梯度消失问题并允许网络捕获长距离依赖的方案。实验结果表明，本文方案在斯坦福情感树库上的性能优于传统的神经网络组合。

    Mar, 2015

  • 神经网络中的树状结构组成，无需树状结构架构

    本论文通过对人工数据任务的实验，研究了基于树结构和基于序列的神经网络模型对于递归组合结构的应用效果。结果表明，基于序列的 LSTM 模型同样能够识别该结构并进行相应运用，但树结构模型在处理这种结构时表现更为出色。

    Jun, 2015

  • 可解释的结构演化 LSTM

    该论文提出了一种通过长短期记忆（LSTM）递归神经网络学习可解释数据表示的通用框架，该框架逐步随机地从数据中学习中间的可解释多层图结构，通过结构演化 LSTM 处理语义对象分析等应用，取得了明显的优势。

    Mar, 2017

  • 基于长短期记忆的循环神经网络结构用于大词汇语音识别

    本文介绍了一种基于 LSTM 的循环神经网络架构，用于训练大词汇量的语音识别声学模型，与传统的 RNN 和深度神经网络进行了比较。结果表明，LSTM 模型收敛速度快，对于相对较小的模型具有最先进的语音识别表现。

    Feb, 2014

  • 树状记忆网络用于建模长期时间依赖关系

    提出了一种基于树形记忆网络的序列映射模型，用于捕获长期和短期依赖关系，并在飞行轨迹建模和行人轨迹建模等实际问题中实现了较好的性能。

    Mar, 2017

  • 具有头部词汇分割的双向树状 LSTM

    本文介绍了一种自动头部词汇化方法，用于树状 LSTM，使得头部单词从叶节点被传播到每个子节点，同时通过向上建立树 LSTM 对树结构进行更好地表示，取得了在 Standford 情感树库上最好的结果，并在 TREC 问题类型分类任务中具有高度竞争力的结果。

    Nov, 2016

  • 基于长短时记忆的深度循环神经网络构建及其在大词汇语音识别中的应用

    本研究针对多 GPU 设备下，探讨了基于深度 LSTM 的语音识别任务，通过构建深度循环神经网络来提升深层次模型效率，实验结果表明深度 LSTM 网络的性能优于浅层次模型。

    Oct, 2014

  • 利用树注意力改进 Tree-LSTM

    通过在 Tree-LSTM 单元中引入可分解注意力的变体，我们设计了一种广义的注意力框架，适用于依赖树和组成树结构，并在语义相关性任务中评估了模型，与不使用注意力的 Tree-LSTM 方法以及其他神经和非神经方法相比表现显著。

    Jan, 2019