ACLMay, 2020

通过句子级语言模型实现更好的故事情节

PDF
TL;DR本文提出了一种基于句子水平的语言模型，该模型从一组流畅的句子备选项中选择故事中的下一句。通过将上下文编码为句子嵌入，比传统基于单词的方法更高效，并取得了在无监督下的 Story Cloze 任务和大规模下一句预测任务中的最新成果。
sentence-level language modelmulti-sentence coherencestory embeddingsunsupervised learningnext sentence prediction
发现论文，激发创造
  • 通过建模句子级和语篇级连贯性进行长文本生成

    该论文提出了一种基于预训练的长文本生成模型，通过预测句子间语义相似度和区分正常和洗牌句序的两个预训练目标来学习句子和语篇级别的表示，从而能够生成比现有技术更加连贯的文本。

    May, 2021

  • 用于连续句子分类的预训练语言模型

    本文提出一种基于预训练语言模型 (BERT) 的方法，能够直接利用所有句子中的所有单词的上下文信息进行文档级理解的任务，且在四个数据集中取得了最先进的结果。

    Sep, 2019

  • 使用句子级 LSTM 语言模型进行脚本推理

    该研究比较了使用 NLP 流程产生的结构化动词和论点事件和最近的基于递归神经网络的模型，发现后者在预测文档中缺失事件方面与前者大致相当。

    Apr, 2016

  • 依赖递归神经语言模型用于句子补全

    本文研究了如何将 RNN 语言模型与句子的句法依赖相结合，以提高递归神经网络 (RNN) 语言模型的性能和准确率，并在 Microsoft Research Sentence Completion Challenge 的评估中展示了其优越性，并达到了同类最先进模型的效果。

    Jul, 2015

  • 增强生成语言模型中的句子嵌入的简单技术

    本研究挑战了从预训练语言模型（PLMs）中获得句子嵌入所必须的显式单字限制的普遍观点，并通过实验证明了这种方法对于判别模型或生成型 PLMs 的精调并非必需。在此基础上，我们提出了两种创新的提示工程技术，可以进一步增强 PLMs 原始嵌入的表达能力：假装的思路链和知识增强，并详细研究了导致其成功的潜在因素。

    Apr, 2024

  • 使用循环神经网络对句子顺序和连贯性建模

    通过端到端的无监督深度学习方法，可以有效地建立并评估理解连贯文本结构的模型，从而实现有用的文本表示方法，有利于句子语义相似性和重复检测等 NLP 任务的完成。

    Nov, 2016

  • 通过分段、注意力和预测未来来提高神经语言模型的性能

    本研究提出了一种基于无监督学习的方法来对齐上下文和下一句子，它可以自动识别短语并生成词组内嵌入，实现了对语言模型进行了有效优化，模型在 Wiketext-103 数据集上达到 17.4 的最佳性能表现。

    Jun, 2019

  • 故事实现：将情节事件扩展为句子

    使用基于神经网络的合奏模型生成事件导向的自动故事情节，比基线方法生成的故事更连贯和可信。

    Sep, 2019

  • 语言建模的组合方法

    本文提出了一种新的语言模型，通过序列组合树来取代之前基于线性链的假设，消除了结构上的任何假设，利用对比熵作为评估度量标准对新模型进行评估，相较于以往基于递归神经网络的模型，在失真级别上获得了超过 100% 的改进。

    Apr, 2016

  • 句子级别课程学习以改进神经对话模型

    为了与人类用户进行对话，需要设计能够进行人机交互的机器智能，因此会话建模是自然语言处理中的重要任务。一个新的机器会话模型使用了逐渐构建的句子结构和复杂度的培训方法来模拟人类学习的构建过程，其通过按照先 “短” 后 “长” 的句子对训练，最终比标准文本准备训练的模型具有更低的验证误差。

    May, 2023