本文探讨了在英语 NLU 中使用线性变压器（LT）实现增量式处理的可行性。我们的结果显示，与标准变压器和具有重启增量性的 LT 相比，循环 LT 模型具有更好的增量性能和更快的推理速度，代价是部分非增量（完整序列）的质量下降。我们表明通过训练模型等待正确的上下文也有助于减轻性能下降以及使用输入前缀进行训练有助于提供正确的部分输出。

Sep, 2021

该研究论文探讨了基于现代架构的全面增量依存解析是否能够具备竞争力，并建立了将严格的从左到右神经编码器与全面增量序列标注和基于转换的解码器相结合的解析器。结果表明，基于现代架构的全面增量解析远远落后于双向解析，并注意到语言学上合理解析的挑战。

Sep, 2023

该研究提出三个新的指标以评估具有和不具有注意力机制的 RNN 的行为，发现不同模型类型处理句子的方式存在关键差异，这揭示了人类和注意力中心方法在语言处理方面的行为上存在的显著对比。

Jun, 2019

该研究通过改进基于 Transformer 的异步分段双向解码策略，以提高翻译效率和准确性。实验结果表明，在处理长句子方面，与传统的单向翻译方法相比，我们的方法表现出更高的效率和改善的翻译质量。此外，研究还分析了句子长度对解码结果的影响，并探讨了模型在不同场景中的性能。这项研究的发现不仅为 NMT 领域提供了一种有效的编码策略，而且为未来的研究开辟了新的途径和方向。

Feb, 2024

本文介绍了一种新的 AdaPtIve 修订方法，即 TAPIR，能够利用神经网络和增量式处理、修订来更快地处理自然语言，同时保持全序列的准确性。实验证明，与重启增量转换器相比，我们的模型具有更好的增量性能和更快的推导速度。

May, 2023

本文提出了一种基于双向解码器的神经机器翻译模型，其中正向解码器按原有的方法工作，但加入了逆向解码器，以利用源语言和目标语言的双向信息，从而提高翻译质量。实验结果表明，该模型在中英文和英德文翻译任务上均能够显著提高 NMT 的效果。

Jan, 2018

提出了 Big Little Decoder (BiLD) 框架来提高文本生成的推理效率和延迟，通过两个不同大小的模型协同生成文本。在各种文本生成情景下应用 BiLD，如机器翻译、摘要生成和语言建模，在 NVIDIA Titan Xp GPU 上实现高达 2.38 倍的加速且不对性能造成显著的损失。

Feb, 2023

通过分析增量转换器的内部状态，研究了其在修订上的优势，并展示了各向异性编码器和依赖解析在意义表示和修订方面的优势。

Feb, 2024

本文探讨了语言模型预训练的双向性作为不同方法的关键因素，并提出了一个新的框架，能够控制双向上下文和双向注意力等两种表现形式。研究表明，最佳配置因应用而异，但大规模双向模型的作用值得探究。

May, 2022

利用双向编码表示从历史行为中建模用户的动态演变偏好对于推荐系统至关重要，我们通过使用 Cloze 任务对历史序列项进行联合编码来解决这个问题，并在四个基准数据集上展开广泛实验，结果显示我们的模型在各种顺序模型中表现出色。

Apr, 2019