迄今为止，语言模型的出色表现引发了对其性能来源的争议，是仅仅学习句法模式和表面统计的结果，还是从文本中提取了语义和世界模型？本研究在国际象棋这一更复杂的领域中扩展了之前的工作，通过在真实比赛中进行训练并使用线性探测和对比激活来研究模型的内部表示，发现该模型具有棋盘状态的内部表示，同时对玩家技能等潜在变量进行估计，提升了模型的胜率达到 2.6 倍。

Mar, 2024

序列模型对其决策过程是如何表示的？我们的研究表明，将模型的内部状态线性化表示为 “我的颜色” 与 “对手的颜色” 可以通过简单的向量运算来控制模型的行为，从而实现对内部表示的精确理解。线性表示为解决序列模型的解释性问题提供了重要进展，并通过进一步探索世界模型的计算过程来加以证明。

Sep, 2023

通过序列建模决策，目标是模仿语言模型的成功，其中通过建模代理行为来预测。尽管性能可观，但尚不清楚是否通过序列建模产生了代表环境状态信息的内部表示。本研究利用 BabyAI 环境（一个基于语言的导航任务的格子世界），构建了一个以语言指令、行动序列和环境观测作为输入的序列建模 Transformer，并设计了一个 “蒙眼” 导航任务，用于研究抽象状态表示的出现。实验结果显示，通过已训练模型的内部激活，可以合理地重构中间环境布局，并且语言指令对重构准确性起作用。研究结果表明，通过序列建模，可以产生状态表示的许多关键特征，支持将序列建模应用于更复杂的实际决策领域。

Nov, 2023

研究表明预先训练的神经语言模型中的预测至少部分地由意义的动态表示和实体状态的隐含模拟支持，并且这种行为可以仅依靠文本作为训练数据来学习。

Jun, 2021

本研究旨在发现序列处理神经网络对于 “自然” 词序约束的偏见。结果表明，神经网络倾向于避免长距离依赖，但并没有明显的偏好于高效的，非冗余的信息编码。因此我们建议在神经网络中引入 “努力程度” 的概念，以使其语言行为更像人类。

May, 2019

这篇论文通过细致的研究一个经过训练的简单变压器模型在奥赛罗游戏中的应用，扩展先前的研究以提升对奥赛罗 - GPT 应用中新兴世界模型的理解，揭示了奥赛罗 - GPT 所包含的对立棋子的线性表达，在决策过程中起着因果驱动作用，并进一步阐述了线性世界表达和因果决策之间的相互作用，以及它们对层深和模型复杂度的依赖关系。我们已将代码公开。

Oct, 2023

通过研究小规模 transformer 在重建部分遮蔽的简单蓝图可视场景方面的内在机制，我们发现网络发展了一种包含数据集的所有语义特征的中间抽象表示或抽象，这些抽象表现为低维流形，其中语义相关令牌的嵌入短暂地收敛，从而实现了对下游计算的泛化。我们还引入了一种语言增强架构（LEA），旨在鼓励网络表达其计算过程，发现 LEA 发展了一种易于解释的以抽象为中心的语言，使我们更容易访问和指导网络的决策过程。

Dec, 2023

本研究旨在探究神经语言模型是否能够在单线性序列输入的情况下提取层次信息，并通过中心嵌套句子和语法岛约束等自然语言现象的实验研究证明：LSTM 能够识别和利用堆栈数据结构来存储和获取一定数量的语言层次结构。

Jun, 2019

本研究探讨了大型语言模型（比如 GPT-3）在模拟人类的模拟推理能力方面的表现，特别是它在没有直接训练的情况下是否能够进行零样本推理。研究发现，GPT-3 在抽象模式归纳方面具有出色的能力，并能够在大多数场景中匹配或超过人类的能力。因此，大型语言模型能够在许多类比问题中找到零样本解决方案。

Dec, 2022

微调预训练语言模型在广泛的任务上展现出有希望的结果，但面对新任务时，它们更依赖于通用的预训练表示还是开发全新的任务特定解决方案？我们在一个与模型相关且来自神经科学文献的情境依赖决策任务上微调了 GPT-2，并将其性能和内部机制与从头开始训练的 GPT-2 版本进行了比较。我们的结果显示，微调模型在较后层次上严重依赖于预训练表示，而从头开始训练的模型则开发了不同、更具任务特定性的机制。这些发现突出了预训练在任务泛化中的优势和限制，并强调了进一步研究语言模型微调的任务特定机制的必要性。

Jun, 2024