未来成功学习解码
本文介绍了一种使用强化学习中的 Actor-Critic 方法来训练神经网络生成序列的方法，利用 Critic 网络来预测输出 token 的值，使得我们可以直接优化诸如 BLEU 等任务特定分数，实现了在监督学习环境下条件 Critic 网络的优化，从而在德语 - 英语机器翻译任务和一些自然语言生成任务中表现出更好的性能。
Jul, 2016
本文提出了一种可训练的解码算法，通过观察和操作神经机器翻译解码器的隐藏状态来最大化任意解码目标，使用确定性策略梯度对其进行培训，在四个语言对和两个解码目标上进行广泛评估，证明我们确实可以训练出一个可训练的贪婪解码器，从而以最小的计算开销生成更好的译文。
Feb, 2017
提出了一种基于深度强化学习（Deep Q-Network, DQN）的序列到序列学习中，通过迭代的方式对输出序列进行解码的新型模式，旨在使解码器优先处理较为容易的序列部分，然后再处理较为困难的部分。
Oct, 2015
本文介绍了一种新型的批判性解码方法来实现语言生成的控制，在控制主题、情感和排毒方面，表现得比以前的方法更好，并且在零 - shot 情况下表现出卓越的泛化能力。
Dec, 2022
该研究对语言生成任务和解码策略之间的相互作用进行了全面分析，测量了生成文本属性随着解码策略和任务的变化情况，并使用人工和自动评估发现了之前观察到的和令人惊讶的结果，如语言生成中的多样性与质量之间的平衡是非常特定于任务的，而模式搜索方法如光束搜索在机器翻译中表现出色，但在故事生成中会导致不连贯和重复的文本。
Mar, 2022
本文提出两种基于解码和两种基于学习的方法，用于控制神经编码器 - 解码器模型的输出序列长度，结果表明学习方法在摘要生成任务中具有控制长度而不降低摘要质量的能力。
Sep, 2016
研究在字符级机器翻译中将规划机制与显式对齐的编码器 - 解码器架构相结合，开发了一种计划先行的模型，该模型可以计算源序列和目标序列之间的对齐，并构建一个建议的未来对齐矩阵和一个决策向量以确定是否遵循或重新计算计划。该机制受到了战略关注读者和写作者（STRAW）模型的启发，并通过 WMT'15 语料库上字符级解码器神经机器翻译的三个任务表现优异。我们的分析表明，我们的模型可以计算出具有定性直观性的对齐，并且使用更少的参数可以实现卓越的性能。
Jun, 2017
本文提出了一种基于预训练生成式 transformer 网络的方法 Future Sight，以实现未来条件限制的故事生成任务，在保留自注意机制的同时，增加了对未来情节的建模，使生成内容更有逻辑性和连贯性。
Dec, 2022