通过梯度下降机制使神经序列模型适应最近的历史，从而提高模型的性能和有效性，在多个数据集上表现出了优于现有模型适应方法的结果。

Sep, 2017

提出了一种新的序列级训练算法，使自然语言处理应用程序使用的语言模型在生成文本时更加强大和高效。这种方法能够直接优化在测试期间使用的指标，并且在三个不同的任务中，我们的方法优于其他几种基准方法。同时，在其他基准方法使用波束搜索时，我们的方法也具有竞争力，而且速度快几倍。

Nov, 2015

本文提出了一种新的神经语言模型，它具备两个神经鉴别器，可以在句子层面（内聚性）和段落层面（连贯性）提供反馈信号，并且使用了一种称为负关键序列训练的简单而有效的策略梯度方法进行训练。结果表明，相对于基线（基于双向 MLE 训练的复发关注神经语言模型），我们的方法有效改善了模型表现。

Nov, 2018

本文提出了一种基于深度神经网络（DNN）的序列学习方法，使用多层长短时记忆（LSTM）解码目标序列并展现了其在英法翻译任务中优于传统短语模型翻译的成果，同时还发现调整源语句中单词的顺序可以有利于优化问题的解决。

Sep, 2014

该研究介绍了一种基于全局序列评分学习的 Sequence-to-Sequence (seq2seq) 模型和波束搜索训练方案，通过避免局部训练的传统偏差问题，统一训练损失和测试时间使用，并保留 seq2seq 的有效训练方法。在单词排序、解析和机器翻译三个不同的序列到序列任务中，该系统优于基于注意力的 seq2seq 系统高度优化的系统和其他基准线。

Jun, 2016

本文提出了一种使用双向多层递归神经网络进行序列到序列学习的方法，以预测文本中前一句的事件描述。我们的方法在来自 WikiHow 和 DeScript 两个数据集中的 BLEU 得分方面显着优于先前的研究。由于 BLEU 得分不易解释为事件预测的度量标准，因此我们结合第二个评估，利用事件的黄金释义集的丰富语言注释来补充我们的研究。

Sep, 2017

本文研究大数据领域，探讨了自然语言处理、文本分类和序列模型的应用，结果显示序列模型在二分类和多分类上取得了优异的成果，但机器仍需进一步改进以达到人类水平。

Jul, 2022

该研究提出了一个新颖的抽象式单文档文本摘要框架，融合了结构、语义和基于神经网络的方法，通过结合机器学习和基于知识的技术实现了一种统一的方法。实验证明了该框架在处理罕见和未登录词方面的显著改进，优于现有的深度学习技术。

Apr, 2024

该论文提出了一种基于预训练的长文本生成模型，通过预测句子间语义相似度和区分正常和洗牌句序的两个预训练目标来学习句子和语篇级别的表示，从而能够生成比现有技术更加连贯的文本。

May, 2021

通过端到端的无监督深度学习方法，可以有效地建立并评估理解连贯文本结构的模型，从而实现有用的文本表示方法，有利于句子语义相似性和重复检测等 NLP 任务的完成。

Nov, 2016