该研究通过在神经 seq2seq 模型中建模 segment-to-segment 对齐，提高了模型的系统化泛化能力，并在语义解析和机器翻译等任务上得到了较好的表现。

Jun, 2021

该研究通过改进基于 Transformer 的异步分段双向解码策略，以提高翻译效率和准确性。实验结果表明，在处理长句子方面，与传统的单向翻译方法相比，我们的方法表现出更高的效率和改善的翻译质量。此外，研究还分析了句子长度对解码结果的影响，并探讨了模型在不同场景中的性能。这项研究的发现不仅为 NMT 领域提供了一种有效的编码策略，而且为未来的研究开辟了新的途径和方向。

Feb, 2024

本文提出了一种新的基于多空间变分编码器 - 解码器的有标序列转导模型，能够使用神经网络同时处理离散和连续的潜变量以利用数据的各种特征，实验证明该模型不仅提供了一个强大的监督框架，而且能够有效地利用无标签数据，对 SIGMORPHON 的形态学屈折基准测试，我们的模型在大多数语言上优于单模型最优结果。

Apr, 2017

本文提出了一种基于神经注意力模型的新方法，利用分段单元和隐变量技术来解决现有的信息缺失，重复和 “幻觉” 问题，减少计算成本，成功地在数据到文本生成任务中实现更好的性能。

May, 2020

本文探讨了使用字符级别的解码器和子词级别的编码器在神经网络机器翻译中能否生成一个不需要显式分段的字符序列，并使用 WMT'15 平行语料库对四种语言对 - En-Cs、En-De、En-Ru 和 En-Fi 进行了实验，结果表明具有字符级别解码器的模型在所有四种语言对上的表现均优于具有子词级别解码器的模型，在 En-Cs、En-De 和 En-Fi 上的神经网络插件比最先进的非神经机器翻译系统更为优秀，在 En-Ru 上性能相当。

Mar, 2016

研究提出一种可用于在线设置中，使得注意力机制在线性时间内计算的可微分方法，- 该方法通过学习单调对齐来解决软注意机制在线性时间复杂度下难以实现的问题，并在句子摘要、机器翻译和在线语音识别领域实现了有竞争力的结果。

Apr, 2017

本研究提出一种基于同步机制的层次编码方法，将长的输入序列分段处理并在 Transformer 层内利用自注意力机制对锚点嵌入进行同步，从而改善了不同类型长输入文本数据的全局信息交流。

Mar, 2022

本研究提出一种基于神经网络的译码器，结合层次短语作为训练的归纳偏差和显式约束，在维持标准序列到序列 (seq2seq) 模型的灵活性的同时。通过训练一个基于括号转录文法的判别式解析器，以层次化地对齐源和目标语短语，并使用一个神经 seq2seq 模型逐个地翻译这些对齐短语。该模型提出两种推理模式：一种只依赖于 seq2seq 模型进行序列级别的翻译，另一种则结合了解析器和 seq2seq 模型。研究结果表明，在小规模机器翻译基准测试中，该方法与对照方法相比表现良好。

Nov, 2022

提出了一种新颖的分段 - 关注模型用于自动语音识别，使用分段关注避免全局关注的二次运行时间，更好地控制长序列，最终实现流式处理。

Oct, 2022

通过引入基于格的编码器，本研究旨在探索有效的单词或子单词表示形式，进而提高基于 Transformer 的神经机器翻译的性能。实验证明，这种新型编码器在单词水平和子单词水平的表示方面优于传统的 Transformer 编码器。

Jun, 2019