本文提出了一种新的神经语言模型，它具备两个神经鉴别器，可以在句子层面（内聚性）和段落层面（连贯性）提供反馈信号，并且使用了一种称为负关键序列训练的简单而有效的策略梯度方法进行训练。结果表明，相对于基线（基于双向 MLE 训练的复发关注神经语言模型），我们的方法有效改善了模型表现。

Nov, 2018

本研究提出一种层次神经网络模型，通过多任务学习，同时预测文档层次的信息连贯得分和词级别的语法角色，利用两个任务之间的归纳转移，提高模型泛化能力，并在不同任务中达到了新的最优表现。

Jul, 2019

本研究探索了一种本地判别神经模型来提高文本的一致性，这样可以实现更广泛的领域泛化，从而显著提高了文章的可读性。

May, 2019

本文介绍了一种采用句子语法、句际连贯关系和全局连贯模式的统一一致性模型，该模型在局部和全局判别任务上表现良好，优于现有模型，并建立了新的最新技术成果。

Sep, 2019

本论文提出了一种名为 CoCo 的基于连贯性图和对比学习的模型，用于检测低资源情况下的机器生成文本；该方法采用预训练模型和图神经网络将文本表示为连贯性图，并使用改进的对比损失函数应对数据限制挑战，实验结果表明 CoCo 方法优于现有的最先进的方法。

Dec, 2022

本研究提出了一种通过利用负面例子来提高神经编码器 - 解码器自然语言生成模型的连续性的写作相关性（WR）训练方法，着重于语境和生成的句子的矢量表示，将其与负面例子进行对比，并将其与常识自然语言推理中的 Unlikelihood（UL）训练方法进行比较，以展示哪一种方法更好地建模了连续性。人类评估的首选方法表明了我们的方法提高连续性的功效。

Sep, 2022

本文提出基于神经变分推断的方法，在主题建模的训练过程中融入主题连贯性目标，实现了主题连贯性的增强并保持了低困惑度。

Sep, 2018

针对连贯性模型在开发新模型上的进展，我们发现它们在开发所面向的下游应用程序的评估方面往往被忽视。通过对多种传统和神经连贯性模型在合成句子排序任务的表现和下游应用中连贯性评估、机器翻译和摘要以及检索型对话系统的下一句话预测的性能进行实验，我们发现这些合成任务往往不能代表下游应用程序的性能，这说明需要探索备选的训练和评估方法。

Apr, 2020

本文研究了大语言模型在长范围语义连贯性方面的问题，提出一种名为 “连贯提升” 的推理方法，能够提高语言模型对长内容的关注，通过分布分析证明了连贯提升的优点，并发现其在零样本自然语言处理任务中也能产生性能提升，而无需额外的训练。

Oct, 2021

本文提出了一种 Momentum 对比学习模型（MoCoSE），用于为句子嵌入提供正负样本，验证了负样本队列的历史信息对模型性能的影响，结果表明历史信息处于某个特定范围时，模型性能最佳。在语义文本相似度（STS）任务中测试，取得平均 Spearman‘s 相关系数为 77.27% 的结果。

Feb, 2022