本文提出了一种新的神经语言模型，它具备两个神经鉴别器，可以在句子层面（内聚性）和段落层面（连贯性）提供反馈信号，并且使用了一种称为负关键序列训练的简单而有效的策略梯度方法进行训练。结果表明，相对于基线（基于双向 MLE 训练的复发关注神经语言模型），我们的方法有效改善了模型表现。

Nov, 2018

本研究提出一种层次神经网络模型，通过多任务学习，同时预测文档层次的信息连贯得分和词级别的语法角色，利用两个任务之间的归纳转移，提高模型泛化能力，并在不同任务中达到了新的最优表现。

Jul, 2019

本论文提出了一种名为 CoCo 的基于连贯性图和对比学习的模型，用于检测低资源情况下的机器生成文本；该方法采用预训练模型和图神经网络将文本表示为连贯性图，并使用改进的对比损失函数应对数据限制挑战，实验结果表明 CoCo 方法优于现有的最先进的方法。

Dec, 2022

将阅读理解视为生成问题可提供更多的灵活性，但现有的生成度量依赖于词汇重叠，对于阅读理解的细微 nuance 不偏不倚。为解决这个问题，我们引入了 MOCHA 作为评估阅读理解模型度量的基准，并使用 LERC 作为训练模型来模仿人类判断分数。使用 MOCHA 数据集，LERC 的表现优于基准度量，并在最小配对的鲁棒性评估上达到了 80％的准确度，这个难题为开发准确且鲁棒的生成阅读理解度量提供了重要参考。

Oct, 2020

本文介绍了一种采用句子语法、句际连贯关系和全局连贯模式的统一一致性模型，该模型在局部和全局判别任务上表现良好，优于现有模型，并建立了新的最新技术成果。

Sep, 2019

该论文提出了一种基于预训练的长文本生成模型，通过预测句子间语义相似度和区分正常和洗牌句序的两个预训练目标来学习句子和语篇级别的表示，从而能够生成比现有技术更加连贯的文本。

May, 2021

提出了一种多任务学习架构，用于基于从文本中提取摘要，其中包含摘要器和连贯判别器模块，通过预训练的转换模型（基于模型）和转换矩阵（MAT-based）将句子表示合并，实现了可微分训练，并以此最大化了连贯判别器的连贯度分数，并通过人工评估证实了我们方法提高了从原始文章位置开始提取的连续句子的比例以及有效保留了其他自动评估指标。

May, 2023

本文研究利用基本的神经模型架构，结合对比学习中的负采样和硬负采样策略以及大规模全局负采样队列的增强效应，在任务独立测试集上进行一致性模型的评估和下游任务的改进。结果表明，增加负样本密度和使用全局负采样队列结合硬负采样可以显著地提高模型的性能表现。

Oct, 2021

通过端到端训练的两步生成模型，即首先由句子级内容规划器决定涵盖的关键词组和所需的语言风格，然后由表面实现解码器生成相关和连贯的文本，可以显著优于现有竞争模型，在 Reddit 的说服性论证、维基百科的正常和简单版本的段落生成以及科学文章的摘要生成等任务中得到验证。

Sep, 2019

该研究探讨了故事生成：创作系统可以在一个主题上构建连贯流畅的文本段落，使用一个大规模的数据集，通过分层式故事生成模型，研究人员成功地实现了模型融合，引入了新的门控多尺度自注意机制，并在自动化和人工评估中实现了显著的改进。

May, 2018