我们提出了一种基于最简单的张量网络（即张量列）的新型张量网络语言模型，称为 'Tensor Train Language Model'（TTLM）。通过将单词的张量积构建成指数空间，TTLM 表示句子，但以低维度方式计算句子的概率。我们证明了第二阶 RNN、递归算术电路（RACs）和乘积积分 RNN 的架构本质上是 TTLM 的特殊情况。对真实语言建模任务的实验评估表明，TTLM 的各种变体（即 TTLM-Large 和 TTLM-Tiny）优于具有低规模隐层单元的传统递归神经网络（RNNs）。

May, 2024

本文提出并研究了一种记忆增强的分段循环 Transformer 模型 (RMT)，通过通过加入特殊的记忆 tokens 实现，该模型能够存储和处理局部和全局信息，传递长序列片段之间的信息，具有学习长期依赖性和内存处理方面的潜力.

Jul, 2022

Universal Transformer 是一种并行自我关注循环序列模型，它将前馈序列模型（例如 Transformer）的并行性和全局感受野与递归的归纳偏差相结合，解决了在某些简单任务中标准 Transformer 失败的问题，并取得诸多算法和语言理解任务上优越的表现。

Jul, 2018

大型语言模型在逻辑和数学推理方面显示出令人瞩目的能力，使它们能够解决复杂的任务。本文提出了一个理论框架来研究自回归的下一个标记预测器。我们证明，即使是简单的模型，如线性的下一个标记预测器在 Chain-of-Thought（CoT）数据上训练，也能有效地近似于图灵机计算的任何函数。我们引入了一个新的复杂度度量方法 —— 长度复杂度，它衡量了实现某个目标函数所需的 CoT 序列中的中间标记数，并分析了长度复杂度与其他复杂度概念之间的相互关系。最后，我们通过实验证明，简单的下一个标记预测器，如线性网络和浅层多层感知器（MLP），在文本生成和算术任务中显示出非平凡的性能。我们的结果表明，语言模型的强大能力很大程度上归功于自回归的下一个标记训练方案，而不一定取决于特定的架构选择。

Sep, 2023

运用循环记忆技术扩展了 BERT 在自然语言处理中的作用，在保持高精度的同时，将模型的有效上下文长度提高到两百万个 tokens，具有广泛的应用潜力。

Apr, 2023

本文研究利用 Translation Memory 对 Levenshtein Transformer 进行改进来进行非自回归机器翻译，通过调整数据表示和引入额外的删除操作，提高了解码效率。同时讨论了利用 Translation Memory 训练模型的方法，减少了多模态问题，无需使用知识蒸馏。

Oct, 2022

本文提出了一种部分自回归模型 Levenshtein Transformer，在线性时间复杂度内支持插入和删除操作，实现了互补的拆解和精细化的设计思路，成功地提高了机器翻译和文本自动编辑的效率。

May, 2019

本文提出了递归记忆决策变换器（RMDT），使用递归记忆机制用于强化学习问题，旨在改善大规模转换器模型在离线强化学习任务中的表现，实验证明，其性能明显优于没有递归记忆机制的同类模型。

Jun, 2023

视频理解系统 MovieChat 利用大型语言模型和视频基础模型，通过引入记忆机制解决了处理长视频时的计算复杂性、内存开销和长期时间连接等挑战。

Jul, 2023

为了减少 Vision Transformers 的计算效率，我们引入了 TOken REcycling (TORE) 的修改，将 ViT 分为迭代器和聚合器的两部分，以便在序列化推断过程中重复使用结果，并提出了一个附加的训练策略来减少与序列决策相关的计算负担。

Nov, 2023