Nov, 2016

TopicRNN: 一种具有长程语义依赖的循环神经网络

PDF
TL;DR本文提出了基于 TopicRNN 的语言模型，它结合了 RNN 和潜在主题模型的优点，能够捕捉本地（句法）和全局（语义）依赖关系，并更好地预测单词。实证结果表明，TopicRNN 在单词预测方面优于现有的上下文 RNN 基线，并且可以作为无监督特征提取器用于情感分析。
topicrnnlanguage modelrecurrent neural networklatent topicsword prediction
发现论文，激发创造
  • 使用长短期记忆网络的深度句子嵌入：分析和在信息检索中的应用

    本文提出了一种基于循环神经网络和长短时记忆单元的句子嵌入模型，该模型能够自动侦测句子中关键词和主题，从而进行网络文档检索等艰难的语言处理任务，并在性能上显著优于现有的先进方法。

    Feb, 2015

  • 深度时间循环复制 Softmax 在时序话题趋势中的应用

    本文提出了一种新的无监督神经动态主题模型 ——RNNRSM，该模型有利于在时间序列文档集合中识别主题趋势，并引入了一个用于量化模型捕捉单词演变的指标 SPAN。通过对 19 年 NLP 研究文章的应用，与现有主题模型相比，RNNRSM 表现出更好的泛化性、主题解释性、演化和趋势性。

    Nov, 2017

  • 主题组成神经语言模型

    我们提出了一个名为 TCNLM 的话题组成神经语言模型，它通过神经话题模型来学习文档的全局语义连贯性，并通过混合专家语言模型来学习本地单词顺序结构，同时使用矩阵分解方法使模型更高效地训练，可生成有意义的话题和句子。

    Dec, 2017

  • 基于循环神经网络的关系分类

    本文提出了一种基于循环神经网络的简单框架，并将其与基于卷积神经网络的模型进行比较。该模型在处理句子关系分类问题时具有学习长距离依赖关系模式的优点，并在使用 MIMLRE 数据集的实验中表现出优异的性能。

    Aug, 2015

  • 一种用于语篇关系语言模型的潜变量循环神经网络

    本文提出了一种新颖的潜变量循环神经网络架构，用于同时建模词序列和相邻句子之间的（可能潜在的）言语关系。它通过循环神经网络生成单个单词，并可以使用潜在变量表示言语关系。该模型可以使用既包括言语关系分类又包括词预测的训练目标，从而优于最先进的替代方案，它可以用于隐含语篇关系分类以及对话行为分类。在测试时间通过潜在言语关系求和，我们获得了一个获得语篇的语言模型，从而改进了一个强大的 LSTM 基线。

    Mar, 2016

  • 基于循环神经网络的提及检测鲁棒性探究

    本文研究了基于循环神经网络（RNN）的提及检测系统的鲁棒性及其在信息提取中的应用，表明在英语的普通或跨领域的情况下，RNNs 不仅在通用情况下优于之前报告的最佳系统（最多可达 9％的相对错误降低），而且在荷兰语中表现出的命名实体识别相似任务中，RNNs 比传统方法显著优越（最多可达 22％的相对错误降低）。

    Feb, 2016

  • 依赖递归神经语言模型用于句子补全

    本文研究了如何将 RNN 语言模型与句子的句法依赖相结合，以提高递归神经网络 (RNN) 语言模型的性能和准确率，并在 Microsoft Research Sentence Completion Challenge 的评估中展示了其优越性，并达到了同类最先进模型的效果。

    Jul, 2015

  • 作为心理语言学对象的 RNNs：句法状态和语法依存关系

    本研究探讨递归神经网络在自然语言处理中的应用情况，研究发现虽然这种网络可以实现递增的句法状态，但是并不总是像人类那样进行泛化，并且没有学习到合适的语法依赖配置。

    Sep, 2018

  • 循环神经网络在序列学习中的关键评估

    本文对于近三十年来产生和实践了重要的循环神经网络（RNN），LSTM 和 BRNN 等模型的研究进行综述，旨在提供一个自成体系的最前沿阐述和历史视角，并引用了相关研究文献。

    May, 2015

  • RNN 架构需要多少复杂度才能学习依赖句法语义？

    本文介绍了一个新的神经网络架构 Decay RNN，它可以通过模拟神经元的抑制和兴奋连接，更好地学习长期依赖关系，相较于 LSTM 在语言任务上也表现十分出色，这为 RNN 成功建模语言现象所需的归纳偏差提供了一些线索。

    May, 2020