ACLJul, 2015

依赖递归神经语言模型用于句子补全

PDF
TL;DR本文研究了如何将 RNN 语言模型与句子的句法依赖相结合，以提高递归神经网络 (RNN) 语言模型的性能和准确率，并在 Microsoft Research Sentence Completion Challenge 的评估中展示了其优越性，并达到了同类最先进模型的效果。
language modellingneural modelsrecurrent neural networksyntactic dependenciessentence completion
发现论文，激发创造
  • 基于依赖关系混合语言模型

    本研究介绍了基于依赖关系的混合语言模型，利用神经网络训练学习未来依赖令牌的概率分布，并将其与自注意力机制混合，从而提高了神经文本生成的效果。

    Mar, 2022

  • 作为心理语言学对象的 RNNs：句法状态和语法依存关系

    本研究探讨递归神经网络在自然语言处理中的应用情况，研究发现虽然这种网络可以实现递增的句法状态，但是并不总是像人类那样进行泛化，并且没有学习到合适的语法依赖配置。

    Sep, 2018

  • 面向约束句子生成的前向和后向语言建模

    本研究提出了一种新的前向后向语言模型，能够在特定词的约束下生成自然语言文本，表现优于传统的顺序语言模型。

    Dec, 2015

  • 基于依存关系的卷积神经网络用于句子嵌入

    该研究提出了一种基于树的卷积神经网络模型，结合深度学习和语言结构，利用单词之间的各种长距离关系来提高情感分类和问题分类任务的准确性，并在 TREC 数据集上取得了最高的准确性。

    Jul, 2015

  • 使用循环神经网络对句子顺序和连贯性建模

    通过端到端的无监督深度学习方法，可以有效地建立并评估理解连贯文本结构的模型，从而实现有用的文本表示方法，有利于句子语义相似性和重复检测等 NLP 任务的完成。

    Nov, 2016

  • TopicRNN: 一种具有长程语义依赖的循环神经网络

    本文提出了基于 TopicRNN 的语言模型，它结合了 RNN 和潜在主题模型的优点，能够捕捉本地（句法）和全局（语义）依赖关系，并更好地预测单词。实证结果表明，TopicRNN 在单词预测方面优于现有的上下文 RNN 基线，并且可以作为无监督特征提取器用于情感分析。

    Nov, 2016

  • 通过句子级语言模型实现更好的故事情节

    本文提出了一种基于句子水平的语言模型，该模型从一组流畅的句子备选项中选择故事中的下一句。通过将上下文编码为句子嵌入，比传统基于单词的方法更高效，并取得了在无监督下的 Story Cloze 任务和大规模下一句预测任务中的最新成果。

    May, 2020

  • 循环神经网络语言模型总是学习类似于英语的关系从句连接

    通过使用模糊性相对子句附加来扩展语言模型在多重同时有效解释的情况下的评估方法。我们比较了英语和西班牙语模型的表现，以展示 RNN LMs 中的非语言偏见优势重叠在英语而非西班牙语的句法结构上。因此，英语模型可能具有类似于人类的句法偏好，而在西班牙语上训练的模型无法获得类似的人类句法偏好。

    May, 2020

  • 循环记忆网络语言建模

    本文提出了一种新的循环神经网络体系结构 Recurrent Memory Network（RMN），不仅能够放大循环神经网络的作用，而且有助于我们理解其内部功能并发现数据中的潜在模式。在语言建模和句子完成任务上展示了 RMN 的强大性能。在长句完成挑战中，RMN 的准确性为 69.2％，超过了以前的最新技术水平。

    Jan, 2016

  • 循环神经网络语法

    本研究介绍了递归神经网络语法与其使用的高效推理过程，分别应用于句法分析和语言模型，实验结果表明在英文的句法分析和英汉语言模型方面，其效果均优于所有以前发表的有监督生成模型和最先进的序列 RNNs。

    Feb, 2016