Aug, 2023

注意力可视化工具包：揭示编码器 - 仅变压器模型中的词重要性，加深对模型的洞察

PDF
TL;DR介绍了 Attention Visualizer 软件包，其主要功能是在编码器模型中可视化显示个体单词的重要性，通过研究单词及其对最终嵌入表示的影响，与其他以标记和自注意得分为中心的方法相比，这种方法在提高神经网络的可解释性方面起到关键作用，它们提供了理解神经网络操作和提升的机会。
attention visualizerencoder-only transformer-based modelswordsembedding representationinterpretability
发现论文，激发创造
  • AttentionViz: Transformer 注意力的全局视图

    本文介绍了一种新的可视化技术，旨在帮助研究人员理解转换器中的自我注意机制，并演示了基于 query-key 嵌入的交互式可视化工具 AttentionViz，以改进模型的理解和提供关于查询 - 键交互的新见解。

    May, 2023

  • 生成式 Transformer 模型的视觉分析

    我们提出了一种新颖的视觉分析框架，用于支持基于 transformer 的生成网络的分析，通过交互式可视化提供直观的模型概览，并通过三个详细案例研究展示了其可行性和实用性。

    Nov, 2023

  • 文本分类更具识别性与性能同样优秀的 Transformer

    本研究提供了更深入的理论分析和经验观察来确定 Transformer 模型中 attention 权重的可辨识性，我们发现 attention 权重比我们目前的认知更可辨识。为了解决权重的不唯一问题，我们提供了一种解耦键向量和值向量之间关系的编码器层的变体，并证明了这种变体的实用性和正确性，该实验在不同的文本分类任务中得到了提供。

    Jun, 2021

  • 使用额外的统计信息检查 Transformer 模型的可解释性

    通过考虑层归一化层中标记的统计信息，我们的方法在解释 Swin Transformer 和 ViT 的可解释性方面展现了很强的能力。

    Nov, 2023

  • 编码器 LLMs 骨干的定向可视化

    基于注意力机制的大型语言模型（LLMs）是自然语言处理（NLP）领域中的最先进技术。本文聚焦于编码器（如 BERT）模型，研究其在可解释人工智能方面的风险和对抗性攻击，并探索在 NLP 领域中应用 DeepView 的可行性。

    Mar, 2024

  • VisBERT: 针对 Transformers 模型的隐藏状态可视化

    为了解决 BERT 模型在 NLP 任务中的解释和可视化问题，本文提出了一种工具 VisBERT，通过可视化 BERT 模型中的上下文令牌表示，观察该模型在每个编码器块中如何转换语义表达，并探索其推理步骤或潜在缺陷。

    Nov, 2020

  • SANVis：用于理解自注意力网络的视觉分析

    本文介绍了一种名为 SANVis 的可视化分析系统，旨在帮助用户理解多头自我注意力网络的行为和特征，其中通过 Transformer 模型的使用展示了 SANVis 在机器翻译任务中的使用场景。

    Sep, 2019

  • 超越注意力可视化的 Transformer 可解释性

    本研究提出了一种基于 Deep Taylor Decomposition 原则的计算 Transformer 网络相关性的方法，通过注意力层和跳跃连接进行传播，并通过基于图像分类和文本分类问题的测试表明其在解释性方面优于现有方法。

    Dec, 2020

  • Transformer 模型中的注意力的多尺度可视化

    通过使用注意力机制，Transformer 模型不仅在性能上有所提升，同时还可通过可视化工具展示模型如何赋权于不同的输入元素，从而实现模型的解释和解读，本文提出了一种开源的基于多尺度可视化注意力机制的工具，并在 BERT 和 OpenAI GPT-2 上进行了演示，包括检测模型偏差、定位相关注意力头和链接神经元到模型行为等三个应用案例。

    Jun, 2019

  • 通过字典学习实现 Transformer 可视化：上下文嵌入作为 Transformer 因子的线性叠加

    本文提出使用字典学习作为线性叠加的 Transformer 成分的可视化工具，以展示 Transformer 成分所捕捉到的分层语义结构，包括词级歧义消歧，句级模式形成和远距依赖。这些模式中有些证实了常规的语言学知识，而有些则相对出乎意料，可能提供新的见解。我们希望这个可视化工具能够带来更深入的知识和更好地理解 Transformer 网络的工作原理。

    Mar, 2021