EMNLPApr, 2021

一切都有序吗？一个简单的排序句子的方法

PDF
TL;DR该研究提出了一种基于 Transformer 模型的 Reorder-BART 方法，旨在将文本中的乱序句子整合为有条理的文本，并在 7 个数据集上取得了较优的结果。其在零样本情况下也表现出良好的泛化能力。
sentence orderingtransformer-based modelcoherent orderperfect match ratiozero-shot
发现论文，激发创造
  • 乱序排列：语句中单词顺序对自然语言理解任务的重要性如何？

    此研究发现，BERT 等自然语言处理模型在进行自然语言理解任务时，即使输入词的顺序被随机打乱，其对下游任务的影响几乎不会改变，因为这些模型主要利用表面特征（如情感分析中的关键词情感或自然语言推断中序列对输入的逐词相似性）进行正确的决策。研究结果表明，许多自然语言处理任务不能真正挑战机器对句子含义的理解能力。

    Dec, 2020

  • 条件生成有序事件序列

    提出了一个 BART-based 条件生成模型，可以同时处理事件之间的时间排序和事件插入预测。使用延迟自编码器进行训练并证明了在不使用显式标签的情况下，该模型优于 BERT-based 方法和指针网络，并且在事件的时间上更优于 GPT-2 completion 模型。

    Dec, 2020

  • 预训练语言模型在词序中的作用：以 BART 为例的案例研究

    使用 BART 语言生成模型进行词序排序能够提高性能，其作用原因是 BART 模型中的句法依赖知识。相关线性化任务也可得到改进。

    Apr, 2022

  • 使用循环神经网络对句子顺序和连贯性建模

    通过端到端的无监督深度学习方法，可以有效地建立并评估理解连贯文本结构的模型，从而实现有用的文本表示方法，有利于句子语义相似性和重复检测等 NLP 任务的完成。

    Nov, 2016

  • 神经句子排序

    本文提出了一种数据驱动的方法，学习句子的逐对排序，以改进自然语言生成应用程序中句子排序的性能。该方法在大规模学术文本语料库上进行验证通过，并公开源代码和数据集。

    Jul, 2016

  • 裁剪图神经网络用于短篇小说排序

    该论文提出了一种基于图神经网络的新方法，通过构建短篇小说的句子 - 实体图并利用 BERT 模型来学习句子的语义表征，减少图中的噪声，结合多种现有方法进行聚合以提高句子排序的性能，效果显著，使完美匹配率和 Kendall's Tau 指标分别提高了 5% 和 4.3%。

    Mar, 2022

  • STaCK：利用时间常识知识的句子排序

    本篇论文介绍了一个名为 STaCK 的框架，基于图神经网络和时间常识知识对全局信息进行建模和预测句子的相对顺序，证明本文提出的方法非常适合进行序列预测问题。

    Sep, 2021

  • 句子排序的拓扑排序

    本文介绍了把文章句子排序问题转化为约束求解问题，提出了一种新技术，并提出了人类评估方法，结果表明该新技术在捕捉文档连贯性方面更好。

    May, 2020

  • 基于图的神经句子排序

    本文提出了一种基于图神经网络的句子排序模型，通过共享实体来建立更具表达力、噪音更小的图表示，可以更准确地学习语义表示，实验结果表明，我们提出的模型准确性高于现有的最先进系统，并对实体如何帮助性能进行了深入分析。

    Dec, 2019

  • 基于注意力机制的深度排序网络用于句子排序学习

    本论文提出了一个基于注意力机制的排序框架，旨在训练模型进行句子排序和辨别任务。该框架采用双向句子编码器和自注意力变换网络以获取与输入顺序无关的段落表示。同时，它能够使用各种基于排序的损失函数进行无缝训练，并在两个任务中应用。实验结果表明，该框架在多个评估指标上优于众多最先进的方法。同时，相对于点对排序损失函数，该框架在使用点对和列表排序损失函数时取得更好的结果，这表明将两个或多个句子的相对位置纳入损失函数有利于更好的学习。

    Dec, 2019