transformers 在推断期间是否有预先思考。我们提出了两种解释：预缓存和面包屑。通过训练语言模型来测试这些假设，我们在合成数据设置和自回归语言建模设置中找到了明确的证据。

Apr, 2024

通过对 transformer-based 语言模型的 attention 头和 memory values 进行解释，我们可以将 GPT 的前向传递可视化为交互式流图，从而发现模型输出结果的原因和 LM 组件在模型中的作用。

May, 2023

本文提出了一种基于预训练生成式 transformer 网络的方法 Future Sight，以实现未来条件限制的故事生成任务，在保留自注意机制的同时，增加了对未来情节的建模，使生成内容更有逻辑性和连贯性。

Dec, 2022

我们的研究显示，在训练大型语言模型进行下一个标记预测时，我们构建了一种计算结构，其表现为对数据生成过程隐藏状态的信念更新的元动力学。我们预测并发现，信念状态在变压器的残余流中线性表示，即使预测的信念状态具有高度复杂的分形结构。我们探讨了信念状态几何在最终残余流中或分布在多个层的残余流中的情况，提供了解释这些观察的框架。此外，我们证明了推断的信念状态包含关于整个未来的信息，超出变压器的显式训练目标 —— 局部下一个标记预测。我们的工作提供了连接训练数据结构和变压器使用的计算结构和表示的框架。

May, 2024

本文介绍了一种新颖的基于 Transformer 的自回归架构，通过根据某些提议分布外推过去的多个连续部分来估计下一个令牌的分布，并关注这些扩展字符串，以改进自回归模型的性能。

May, 2023

本研究提出了一系列分析 GPT-2 内部状态的方法，并以对花园路径句子的遍历作为案例研究，使用最大的可用数据集编译了花园路径句子，并展示了曼哈顿距离和余弦相似性提供了比分析下一个标记概率更可靠的见解。通过这些方法，研究发现否定标记对动词对象明确的句子的表示影响较小，而对语态造成歧义的明确句子的表示影响更大。研究还发现分析解码器模型的隐藏状态揭示了可能会产生花园路径效应的歧义期，而惊奇分析通常会忽略这一细节。

May, 2022

本研究提出了基于梯度的隐藏状态优化（HSO）方法，提高了 transformer 语言模型在推断时的性能，尤其在评估模型训练分布之外的数据集时表现出色，且在 few-shot 评估方面也有改进。

Dec, 2021

本研究提出了对于近现代 Transformer 架构的自回归语言模型的一种准确的每个初始输入 token 的线性分解，并使用其定义概率分布，以分离出特定的输入 token 对于后续单词序列的影响；回归实验表明，基于 Transformer 的语言模型主要依赖于搭配的联想，其次是基于语言学素材的综合推断，例如句法依赖关系和指代关系，以确定下一个单词的概率。

May, 2023

提出了一种全新的基于注意力机制的动作预测模型，称为 Future Transformer (FUTR)，它能够学习全局的视频动作信息，以预测长达数分钟的未来动作序列，和传统的自回归模型相比，FUTR 可以更准确、更快速地进行长期预测。在两个标准数据集 Breakfast 和 50Salads 上进行了实验，FUTR 模型取得了最新的最优结果。

May, 2022

为了解决 BERT 模型在 NLP 任务中的解释和可视化问题，本文提出了一种工具 VisBERT，通过可视化 BERT 模型中的上下文令牌表示，观察该模型在每个编码器块中如何转换语义表达，并探索其推理步骤或潜在缺陷。

Nov, 2020