Feb, 2024

信息流路径：大规模自动解释语言模型

PDF
TL;DR我们通过构建节点和边的图表来自动揭示模型中的信息流；与现有的工作流相比，我们通过与其他的方法相反，利用属性来实现这一目标，并能够在任何预测中提取信息流路线，不仅限于特定类型的预测；此外，我们实验了 Llama 2，并表明了某些注意力头的整体重要性，比如前一个标记头和子词合并头；最后，我们展示了某些模型组件可以在领域（如编码或多语言文本）上进行专门化。
information flowsnetworkgraphspredictionmodel behavior
发现论文，激发创造
  • 从人类行为角度探索语言模型

    基于人类行为学视角，我们探究了大型语言模型（LLMs）的预测过程和内部机制，通过将 LLMs 的值与眼动测量结果相关联，发现 LLMs 表现出与基于 RNN 的语言模型不同的预测模式。此外，随着前馈网络（FFN layers）的升级，记忆和语言知识编码的能力也逐渐提升直至达到巅峰，并转向注重理解能力。自注意力机制的功能分布在多个头部。最后，我们审查了门控机制，发现它们控制信息的流动，有些门控机制促进信息的传递，而其他门控机制则消除信息。

    Oct, 2023

  • BERT 中信息流的解释的影响模式

    介绍了影响模式来理解注意力机制，发现 BERT 模型中信息流主要通过跳跃连接而非注意力头，而且模式的一致性是 BERT 性能的一个指标，比以前的注意力和层次方法更好。

    Nov, 2020

  • 图上的注意力流建模

    研究了处理现实场景需求的过程推理，通过设计了一组图形轨迹推理任务，基于图形网络，通过关注流机制提高准确性和解释性。

    Nov, 2018

  • 自回归语言模型中事实关联的回忆解剖

    本文通过信息流的视角研究了基于 Transformer 的语言模型如何在推理过程中检索参数中的实际知识，并通过对模型中注意力机制的介入实现了对预测中信息流的详细分析和理解。通过此研究，我们阐述了在语言模型中实现知识局部化和编辑的方法。

    Apr, 2023

  • 可解释的大语言模型交通流预测

    这项研究介绍了一种基于 TP-LLM 的可解释交通预测方法，通过将多模态因素作为语言输入统一起来，避免了复杂的时空数据编程，证明了大语言模型在交通预测方面的潜力。

    Apr, 2024

  • AttnLRP：面向 Transformer 的注意力感知分层相关传播

    扩展対面层级相关传递方法以处理注意力层可以实现对大型语言模型进行准确且高效的非黑盒推理解释。

    Feb, 2024

  • 通过点亮重要信息更好地解释 Transformers

    提出了一种在层间相关传播 (LRP) 方法的基础上通过细化信息流来突出重要信息并消除无关信息，实验结果表明，与八个基准方法相比，在分类和问答数据集上我们的方法始终表现出超过 3% 到 33% 的解释指标的提升，提供了更好的解释性能。

    Jan, 2024

  • 用于无监督机器翻译的流式适配器架构

    本文提出了一种基于 normalizing flows 的流适配器框架，用于无监督的 NMT，可以将每种语言单独训练，具有语言特定的句子表示和简单的转换机制，通过有监督 MT 以及正常流来捕捉潜变量，获得了相当不错的性能表现。

    Apr, 2022

  • 解读 Transformer 的注意力动态记忆与可视化 GPT 的语义信息流

    通过对 transformer-based 语言模型的 attention 头和 memory values 进行解释，我们可以将 GPT 的前向传递可视化为交互式流图，从而发现模型输出结果的原因和 LM 组件在模型中的作用。

    May, 2023

  • 利用语言基础模型进行人类移动预测

    本文提出了一种新的基于语言基础模型的时间序列模式挖掘流程，以用于人类移动预测任务，该模型通过引入特定提示将数值时间序列转换为句子，以便直接应用于现有语言模型，设计了一个 AuxMobLCast 流程用于预测每个 POI 的访客数量，结合了辅助 POI 分类和编码器 - 解码器架构，实证证明了该流程在移动性预测任务中发现序列模式的有效性，并在三个真实数据集上进行了评估，表现良好。

    Sep, 2022