研究神经生成模型中扩展到未知序列长度的挑战，表征了一种常常被忽视的建模决策：通过使用特殊的序列结尾（EOS）词汇项来预测生成过程的结束，探讨了在测试时强制模型生成到正确序列长度的神谕设置，对比训练预测 EOS (+EOS) 神经网络与未训练 (-EOS) 神经网络的长度外推行为，发现 -EOS 显著优于 +EOS，能够在括号闭合任务中良好地外推到比训练时间长 10 倍的长度，以及在困难的 SCAN 数据集长度泛化任务中比 +EOS 实现了 40% 的提升。

Oct, 2020

本文研究图像字幕生成领域中的自我评估序列训练方法，提出了缺乏透明度和对序列结束标记的认知所带来的问题，并通过介绍一个名为 SacreEOS 的库来解决该问题。

May, 2023

本文介绍了一种以韵脚、节律和押韵等风格为条件，使用深度学习模型生成诗歌的方法，通过先预训练自然语言处理模型 ByGPT5，再在英语和德语四行诗的自定义语料库上进行微调，实现了较高的生成效果和参数效率，从而提高了生成诗歌的成果和可行性。

Dec, 2022

本文研究 GPT-2 在生成长度较长的文档时缺乏结构性的问题，提出了一种新的控制文本生成任务 — 顺序控制文本生成，并确定了一个数据集 NewsDiscourse 作为该任务的起点。通过测试不同程度的结构意识，表明具有更高的结构意识可以提高控制准确性、语法合理性、连贯性和主题性，并接近于人类的写作业绩。

Jan, 2023

本文分析了自然语言生成（NLG）的第一个端到端共享任务，并根据结果提出了未来研究的方向和建议。研究发现基于 sequence-to-sequence 模型的系统在词汇和人类自然性方面表现良好，但如果缺乏强大的语义控制机制，则通常无法正确表达给定的含义表达。

Jan, 2019

本文研究了如何生成有趣的故事结局。我们提出了一种方法来使用关键短语并鼓励生成非泛化词汇，从而生成更多样化和有趣的结局。

Jul, 2019

本文介绍了第一个共享的自然语言生成（NLG）的端到端（E2E）口语对话系统实验结果。E2E NLG 共享任务旨在评估这些新方法是否能够通过从高词汇丰富度，句法复杂度和多样化的话语现象的数据集中学习来生成更高质量的输出。

Oct, 2018

该论文提出了一种新的任务，即句子识别，在传统的基于结束符的句子分割的基础上，设计了一种能够识别文本中句子单元和非句子单元的方法，实验显示其性能优于传统的句子分割方法。

Jan, 2023

本文介绍了 Story Ending Generation (SEG) 任务，提出了一个由 Generator 和 Reward Manager 组成的框架来生成一个连贯的故事结尾，其中 Generator 使用了指针生成网络与覆盖机制来处理词汇表外（OOV）和重复的单词，同时使用混合损失方法来生成具备高语义相关性的故事结尾，Reward Manager 使用策略梯度强化学习（PGRL）来微调 Generator，实验表明，相较于序列到序列基准模型，我们的模型在自动评估和人类评估中分别提高了 15.75％和 13.57％的 CIDEr 和一致性得分

Jan, 2019

本篇论文提出了一种基于字符的端到端序列 - to - 序列模型，具有注意力机制、不需要词汇处理，以及包含常规生成机制和复制输入事实以产生输出的复制机制，同时提出了一个新的数据集 E2E+，并表明该模型在五个常用度量标准下的性能逊于基于字符和基于词汇的方法。

Apr, 2019