本文探讨了在英语 NLU 中使用线性变压器（LT）实现增量式处理的可行性。我们的结果显示，与标准变压器和具有重启增量性的 LT 相比，循环 LT 模型具有更好的增量性能和更快的推理速度，代价是部分非增量（完整序列）的质量下降。我们表明通过训练模型等待正确的上下文也有助于减轻性能下降以及使用输入前缀进行训练有助于提供正确的部分输出。

Sep, 2021

本研究评估了自回归神经语言模型在句法上对语法结构维护能力的学习程度，提出了几种用于从自回归语言模型中提取不完全的句法结构的探测器，并发现这些探测器可用于预测模型对于可疑前缀的偏好、对模型的表现进行因果干预，从而表明自回归神经语言模型的下一词预测中存在隐含的增量句法推理。

Nov, 2022

研究了在交互系统中，使用增量接口对双向编码器进行逐步处理的可能性，结果支持可以保留大部分双向编码器非增量质量。

Oct, 2020

本文介绍了一种新的 AdaPtIve 修订方法，即 TAPIR，能够利用神经网络和增量式处理、修订来更快地处理自然语言，同时保持全序列的准确性。实验证明，与重启增量转换器相比，我们的模型具有更好的增量性能和更快的推导速度。

May, 2023

本文探讨了使用序列到序列 Transformer 模型设计全局或局部状态模拟器改善基于转移的语法分析系统表现，并发现 Transformer 的交叉注意力机制的修改对于依存关系和抽象意义表征（AMR）分析任务的效果特别明显，尤其是在较小的模型或有限的训练数据下。

Oct, 2020

本文研究了两种主要方法在增强 Transformer 与循环机制方面的归纳倾向性，其中一种是类似于通用 Transformer 的逐层循环方法，另一种是类似于时态潜变块的分块时间循环方法。此外，我们提出并研究了扩展和组合上述方法的新方式，例如，我们为通用 Transformer 提出了一种基于全局均值的动态停止机制，并将时态潜变块与通用 Transformer 的要素进行了增强。我们通过一些诊断性任务（如长距离竞技场，翻转语言建模，列表操作和逻辑推理）比较了这些模型，并探讨了它们的归纳倾向性。

Feb, 2024

本文提出了一种迭代推理算法来实现多跳解释再生，该算法根据自然语言问题和其答案检索相关的事实证据。该算法通过自回归地从语料库中选取事实，以学习排序损失的方式来缓解多源证据的选择问题。使用预训练的 Transformer 模型进行实验，结果显示该算法在精度、培训时间和推理效率方面均优于先前的最先进技术。

Dec, 2020

本研究使用合成机制来考察 transformers 在处理全局信息与上下文信息时的权衡，发现这些模型相对较快地学习了全局信息，但对于上下文信息中的二元组的识别则较慢，同时探究了权重矩阵作为联想记忆的作用以及梯度如何使其在训练时进行学习的理论机制，同时研究了数据分布属性的作用。

Jun, 2023

该研究论文探讨了基于现代架构的全面增量依存解析是否能够具备竞争力，并建立了将严格的从左到右神经编码器与全面增量序列标注和基于转换的解码器相结合的解析器。结果表明，基于现代架构的全面增量解析远远落后于双向解析，并注意到语言学上合理解析的挑战。

Sep, 2023

我们的研究显示，在训练大型语言模型进行下一个标记预测时，我们构建了一种计算结构，其表现为对数据生成过程隐藏状态的信念更新的元动力学。我们预测并发现，信念状态在变压器的残余流中线性表示，即使预测的信念状态具有高度复杂的分形结构。我们探讨了信念状态几何在最终残余流中或分布在多个层的残余流中的情况，提供了解释这些观察的框架。此外，我们证明了推断的信念状态包含关于整个未来的信息，超出变压器的显式训练目标 —— 局部下一个标记预测。我们的工作提供了连接训练数据结构和变压器使用的计算结构和表示的框架。

May, 2024