使用特征文本化方法研究 BERT 神经元中单词的编码

Nov, 2023

使用特征文本化方法研究 BERT 神经元中单词的编码

Investigating the Encoding of Words in BERT's Neurons using Feature Textualization

Tanja Baeumel, Soniya Vijayakumar, Josef van Genabith, Guenter Neumann, Simon Ostermann

TL;DR计算机视觉中可视化特征提供了一种将视觉模型的神经元信息分解解释的方法，我们的研究受到这一方法的启发并针对大型预训练语言模型进行了活化最大化的尝试；我们提出了特征文本化技术，用于提取预训练语言模型中神经元的知识表示，发现这些表示可以揭示关于神经元所编码的知识的见解，但神经元并不代表清晰的语言符号单元如词。

Abstract

pretrained language models (PLMs) form the basis of most state-of-the-art NLP technologies. Nevertheless, they are essentially black boxes: Humans do not have a clear understanding of what knowledge is encoded in different parts of the models, especially in individual →

pretrained language models interpretability neurons feature textualization bert

发现论文，激发创造

BERT 的可解释性幻觉

通过对 BERT 模型中的单个神经元激活的分析，我们揭示了一种 “解释能力幻觉”，揭示了 BERT 的嵌入空间的几何特性和文本语料库表示只代表英语句子的狭窄切片的事实，我们提供了模型学习概念的分类，讨论了解释研究的方法论含义，特别是在多个数据集上测试假设的重要性。

Apr, 2021

生成语言模型中神经元信息性文本描述的探索

使用 BERT 为例，本文提出了一种新颖且可扩展的框架，将文本描述与神经元联系起来，并通过生成式语言模型发现数据特定的可解释描述符，用于解释编码这些描述符的神经元。实验证明，该方法在识别神经元方面达到了 75% 的 2 阶精度和 50% 的 2 阶回想率。

Jan, 2024

预训练纯文本 Transformer 中的多模态神经元

通过向文本转换器添加视觉信息，我们研究了冻结的文本转换器如何使用自监督视觉编码器和单一线性投影将一种模态的学习表示迁移到另一种模态，在转换器内部发现了模态之间的转换，并通过识别多模态神经元和解码它们注入模型剩余流的概念来验证其作用。通过一系列实验证明多模态神经元在特定的视觉概念上操作，并对图像字幕生成产生系统性的因果影响。

Aug, 2023

深度神经网络中每个神经元学习到的不同类型的特征的多方面可视化

通过深度可视化技术，可以更好地了解深度神经网络。本文介绍了一种算法，通过合成每种类型的图像来清晰地揭示神经元的多重特征，并引入正则化方法使可视化结果更具解释性和清晰性。

Feb, 2016

透過特徵視覺化理解神經網絡：一項調查

本章介绍了一种神经科学方法 ——Activation Maximization（AM），利用机器学习技术综合推理神经元的首选刺激，以大力激发人造或生物大脑中的单个细胞或细胞组，并讨论了现有 AM 技术的概率解释和其在网络调试和解释方面的应用。

Apr, 2019

文本神经元表征的可解释性在自然语言处理中的应用

使用 Gumbel Softmax 层的梯度上升法可将可视化神经元的技术扩展到 NLP 任务中，产生优于传统语料搜索的 n-gram 表示。该表示突出了 Imaginet 架构的语言和视觉模型之间的句法意识差异。

Sep, 2018

视听语言大脑编码

本文系统探讨了图像转换器和多模态转换器在大脑编码方面的有效性，发现多模态转换器 VisualBERT 在编码上远优于之前提出的单模态 CNN、图像转换器以及其他先前提出的多模态模型，这表明视觉语言模型的优越性，产生了人们是否在被动地查看图像时，视觉区域的响应是否受到语言处理的影响的问题。

Apr, 2022

深度视觉特征的自然语言描述

该研究提出了一种名为 MILAN 的程序，通过相互信息引导的语言注释对神经元进行自动标记，并可以生成细粒度的描述，以促进对神经网络的理解、分析和控制，并提供了自然语言神经元描述的三个应用实例。

Jan, 2022

学习的视觉特征到文本解释

利用大型语言模型解释视觉模型的学习特征，通过训练神经网络建立图像分类器和语言模型之间的连接，生成大量的句子来解释分类器学习到的特征，并提取最频繁的词语，增强图像分类器的解释性和鲁棒性。

Sep, 2023

特征强调：揭示自然图像中的哪些特征应对

解释可视化图像中神经网络特征响应的位置和内容的新方法：feature accentuation。

Feb, 2024