该论文旨在介绍一种新的机器翻译解码算法 —— 词汇约束解码法，该算法能够快速而准确地在输出中包含预定的单词和短语，并探索模型与 BLEU 得分之间的关系，与此同时它还能够极大地优化计算复杂性。
Apr, 2018
本论文研究了 LLMs 在信息提取等任务中生成复杂输出结构的问题，提出了一种基于形式语法约束的解码方法，通过合理的限制保证生成的符号序列能够具有语法正确性，同时在大型符号集信息提取和实体消歧方面取得了良好的效果，结果表明在缺乏训练数据、后调较为昂贵的场景下，采用基于形式语法约束的解码策略能够有效提升模型生成结构化输出的能力。
May, 2023
提出一种名为 Diverse Beam Search (DBS) 的算法，以优化多样性目标解码出一系列多样化的输出，旨在解决 Beam Search 算法在复杂人工智能任务解码过程中无法准确捕捉复杂任务本质的问题，并在图像字幕生成、机器翻译和视觉问答生成等任务中取得更好的性能表现。
Oct, 2016
本文提出了一种在神经机器翻译中加入词汇约束的简单有效算法，该算法可以在推理时注入术语约束，而不影响解码速度，并且无需修改训练流程，使用自定义字典即可运行，实验结果表明，我们的方法在英德 WMT 数据集上可以提高基线和之前方法的翻译质量。
Apr, 2020
本文提出了一种灵活的新方法，利用一个小型的神经网络 actor 来观测和操纵先前训练的解码器的隐藏状态，以无需额外的计算成本获得几乎全部的 beam search 带来的好处。我们介绍了使用一个伪并行语料库来训练 actor 网络，它是以类似于 BLEU 的目标质量指标对基础模型的 beam search 输出排名而生成的。我们的方法受到了早期研究的启发，但不需要强化学习，并且可以可靠地在各种模型上训练。在三个平行语料库和三个架构上的实验表明，该方法可以使翻译质量和速度大大提高，超过每个基础系统。
本文提出了一种新的序列预测模型 —— 生成式桥接网络 (GBN)，GBN 引入了一个桥接模块来辅助生成模型的训练，将点预测扩展到一个基于条件概率的桥接分布上，并最小化生成模型与桥接分布的 KL 散度，结果表明，针对语言模型、抽象文本摘要等任务，我们提出的 GBN 模型均具有显著的性能提升。
Jun, 2017
开发 Bidirectional Beam Search（BiBS）算法来逼近推理双向神经序列模型中的 1-Best（和 M-Best）解码，并在可视化任务中验证该方法的高效性和效果。
May, 2017
我们提出了一种基于句法树的语法引导生成模式，通过解码过程的两个部分:（1）对给定源句子中词汇化的句法上下文中的每个成分预测填充文本；（2）映射和扩展每个成分以构建下一级语法上下文以生成自然语言文本，并在重述生成和机器翻译上进行了实验。与自回归基线相比，该方法在有效性和可解释性方面更加出色。
Jun, 2023
提出了一种名为 BFGAN 的新算法框架，通过使用向前和向后生成器一起生成词汇限制句子，并使用鉴别器通过分配奖励信号来指导两个生成器的联合训练，以解决向基于 RNN 的模型中直接引入词汇约束所面临的挑战。
Jun, 2018
本文提出了一种使用 Gumbel-Greedy Decoding 训练生成网络来预测翻译的方法，该方法使用 Gumbel-Softmax 重新参数化来实现对离散单词序列的可微分训练，实验证明其有效性。