WWWNov, 2020

VisBERT: 针对 Transformers 模型的隐藏状态可视化

PDF
TL;DR为了解决 BERT 模型在 NLP 任务中的解释和可视化问题，本文提出了一种工具 VisBERT，通过可视化 BERT 模型中的上下文令牌表示，观察该模型在每个编码器块中如何转换语义表达，并探索其推理步骤或潜在缺陷。
explainabilityinterpretabilityneural networksnlpbert
发现论文，激发创造
  • BERT 是如何回答问题的：对 Transformer 表示进行逐层分析

    我们对 BERT 的隐藏状态进行逐层分析，揭示了这些状态所包含的有价值的信息，包括 QA 任务 fine-tuned 的模型如何转换令牌向量以找到正确的答案。通过应用一组用于揭示每个表示层中存储信息的一般和 QA 特定探测任务，我们的分析显示 BERT 的转换经历了与传统 pipeline 任务相关的阶段，且细微调整对模型的语意能力影响不大，即使在早期层也可以识别出预测错误。

    Sep, 2019

  • exBERT：一种可视化分析工具，用于探索 Transformers 模型中学习到的表示

    通过互动工具 exBERT，可以通过将人类指定的输入与大型已注释的数据集中的类似上下文进行匹配，来揭示上下文表示的意义，从而更直观地解释每个注意力头都学习了什么。

    Oct, 2019

  • BERT: 深度双向变换器的预训练用于语言理解

    介绍了一种新的语言表示模型 BERT，可以通过预训练深度双向表示生成模型从未标记的文本中学习，通过微调可用于广泛的任务，包括自然语言处理。

    Oct, 2018

  • VisualBERT：一种用于视觉和语言的简单高效基准线模型

    VisualBERT 是一个简单灵活的框架，由一系列 Transformer 层组成，可以对输入的文本和相关的图像区域进行自我注意力对齐。该论文提出了两种针对预先训练 VisualBERT 的视觉语言模型目标，经过在四项视觉语言任务上的实验表明，VisualBERT 的表现优于或与最先进的模型不相上下，同时具有显著的简单性。进一步的分析表明，VisualBERT 可以将语言元素与图像区域相关联，而不需要任何明确的监督，并且甚至可以关注句法关系，例如跟踪动词与相应参数图像区域之间的关联。

    Aug, 2019

  • 编码器 LLMs 骨干的定向可视化

    基于注意力机制的大型语言模型（LLMs）是自然语言处理（NLP）领域中的最先进技术。本文聚焦于编码器（如 BERT）模型，研究其在可解释人工智能方面的风险和对抗性攻击，并探索在 NLP 领域中应用 DeepView 的可行性。

    Mar, 2024

  • 解读 Transformer 的注意力动态记忆与可视化 GPT 的语义信息流

    通过对 transformer-based 语言模型的 attention 头和 memory values 进行解释，我们可以将 GPT 的前向传递可视化为交互式流图，从而发现模型输出结果的原因和 LM 组件在模型中的作用。

    May, 2023

  • 可视化和测量 BERT 的几何形状

    本文描述了一种特别有效的模型 BERT，它能够通过从语义和句法子空间中提取一般有用的语言特征来代表语言信息，同时还探讨了注意力矩阵和单词嵌入中的句法表示，并提出了一种数学证明来解释这些表示的几何形态。

    Jun, 2019

  • 神经网络想象的可视化

    通过用循环神经网络 (RNN) 架构和解码器对网络的中间表示进行训练来可视化网络代表的环境状态，提出定量解释性指标并证明隐藏状态在简单任务上具有较高的可解释性，同时开发自编码器和对抗技术并展示其对解释性的好处。

    May, 2024

  • AttentionViz: Transformer 注意力的全局视图

    本文介绍了一种新的可视化技术，旨在帮助研究人员理解转换器中的自我注意机制，并演示了基于 query-key 嵌入的交互式可视化工具 AttentionViz，以改进模型的理解和提供关于查询 - 键交互的新见解。

    May, 2023

  • VL-InterpreT：一种用于解释视觉语言变换器的交互式可视化工具

    本文介绍了 VL-InterpreT，一种可视化工具，通过跟踪关注头中的各种统计信息、可视化跨模态和内模态注意力热力图、以及绘制视觉和语言标记的隐藏表示，来提供多模态转换器中的注意力和隐藏表示的解释。文中使用 KD-VLP 模型根据 Visual Commonsense Reasoning（VCR）和 WebQA 等视觉问答基准展示了 VL-InterpreT 的功能，同时介绍了通过使用该工具学到的有关多模态转换器行为的一些有趣发现。

    Mar, 2022