本研究提出一种基于神经网络的译码器，结合层次短语作为训练的归纳偏差和显式约束，在维持标准序列到序列 (seq2seq) 模型的灵活性的同时。通过训练一个基于括号转录文法的判别式解析器，以层次化地对齐源和目标语短语，并使用一个神经 seq2seq 模型逐个地翻译这些对齐短语。该模型提出两种推理模式：一种只依赖于 seq2seq 模型进行序列级别的翻译，另一种则结合了解析器和 seq2seq 模型。研究结果表明，在小规模机器翻译基准测试中，该方法与对照方法相比表现良好。

Nov, 2022

介绍了一种在线神经序列到序列模型，它在读取输入时学习在编码和解码段之间交替。通过独立跟踪编码和解码表示，我们的算法允许在训练期间对潜在分隔进行精确的多项式边缘化，并且在解码期间，使用波束搜索来找到最佳对齐路径以及预测的输出序列，实现在线生成。在抽象化句子摘要和形态变化方面的实验表明，相对于基线编码器 - 解码器，我们的模型具有显著的性能提升。

Sep, 2016

本研究使用递归神经网络序列对序列 (RNN seq2seq) 模型，研究其在学习四种字符串转换任务（相同、反向、完全重复和指定输入重复）方面的能力，发现虽然关注度有助于学习，但是其结果仍存在显著局限性。此外本研究结果更好地说明了形式语言的复杂性层次结构，而不是字符串转移的层次结构。

Mar, 2023

该研究介绍了一种基于全局序列评分学习的 Sequence-to-Sequence (seq2seq) 模型和波束搜索训练方案，通过避免局部训练的传统偏差问题，统一训练损失和测试时间使用，并保留 seq2seq 的有效训练方法。在单词排序、解析和机器翻译三个不同的序列到序列任务中，该系统优于基于注意力的 seq2seq 系统高度优化的系统和其他基准线。

Jun, 2016

本文扩展了 seq2seq 模型，实现了对输入集的合理处理以及通过搜索可能的排序来处理输出集的缺乏结构，并提出相应的解决方案，最终在多项自然语言处理任务和两项人工任务中取得了良好的结果。

Nov, 2015

本研究使用状态转移机器学习估计序列之间的译码方法，通过探索序列到序列学习的等效问题，其考虑到一种基于准同步文法的层次序列到序列方法，在各种应用中达到了合理的性能。

Sep, 2021

本文使用 LSTM 循环神经网络，建立了一种基于单词对和对齐的新型神经排序模型，成功地解决了机器翻译中的重排序问题，并在 NIST OpenMT12 测试中实现了显著性能提升。

Dec, 2015

本文介绍最近相结合的 seq2seq，深度神经网络和加强学习模型，考虑如何在决策制定的 RL 方法中利用序列到序列模型的长期记忆能力来解决复杂的问题，提出并探讨 RL 方法解决序列到序列模型领域常见的曝光偏差而且在训练与测试的指标上也不一致的两个问题，并提供了大多数 RL 模型的源代码以支持抽象文本摘要的复杂任务。

May, 2018

研究表明 Seq2Seq 模型在一些特殊结构外的数据上表现可能不理想，而本文探讨了在一个简单的、明确定义的结构转换任务中，该模型实现泛化的能力如何取决于其随机种子的选择且其泛化结构的能力高度敏感。

May, 2018

该研究提出了一种基于新颖的 “fertility step” 和之前的 reordering step 所组成的柔性端到端可微神经模型来解决 Seq2seq 模型在复合通用性方面的问题，并在真实语义解析任务的具有挑战性的复合拆分中取得了比 Seq2seq 模型更好的性能。

Oct, 2022