AAAIDec, 2018

分析深度自然语言处理模型中的单个神经元，犹如沙漠中的一粒沙

PDF
TL;DR研究者提出用于解释神经网络在自然语言处理任务中的单个特定维度及其与模型性能的相关性分析的方法，并公开了工具箱。
neural networksinterpretabilitynlp taskslinguistic correlation analysiscross-model correlation analysis
发现论文，激发创造
  • 语言相关性分析：在深度 NLP 模型中发现显著神经元

    该研究利用 Linguistic Correlation Analysis 技术，定位和提取能够预测不同语言任务的少量神经元，研究表明深度 NLP 模型中神经元的学习特征高度分布和冗余，预训练模型的微调也会影响学习到的语言知识，同时还发现多语言变压器模型中的神经元分布具有相似性。

    Jun, 2022

  • 对预训练语言模型中个体神经元的分析

    本研究探讨了使用深度 NLP 模型学习的表示来捕捉语言知识。在核心语言学任务上进行了神经元级别的分析，研究了预训练的语言模型中的神经元是否捕捉了语言信息，哪些部分学习了某些语言现象，信息分散或集中在哪里，以及不同架构在学习这些属性方面的差异。本研究发现预测语言任务的神经元是小的子集，与较低级任务（如形态学）相比，预测句法这样的更高级任务的神经元更加分散。同时，本研究还揭示了有趣的跨架构比较，比如我们发现在预测性质方面，XLNet 中的神经元更加局部化和不连通，而 BERT 等则更加分布式和耦合。

    Oct, 2020

  • 分析语言模型中个别神经元的陷阱

    本文讨论了使用外部探针的方法评估神经元与语言相关性的方法，指出其存在的问题并提出新的评估方法。

    Oct, 2021

  • 深度自然语言处理模型中的细粒度解释和因果分析

    本文介绍了深度 NLP 模型中的细粒度解释和因果分析，包括如何分析单个神经元和神经元组，输入特征的作用以及如何应用这种神经元分析技术，如网络操作和域适配。同时，本文介绍了两个工具包：NeuroX 和 Captum。

    May, 2021

  • 评估自然语言处理模型的神经元解释方法

    该研究提出了一种评估框架，用于比较不同神经元解释方法，通过该框架，可以评估任何新的神经元解释方法，通过与其他大多数方法的兼容性来评估其性能。

    Jan, 2023

  • 深度视觉特征的自然语言描述

    该研究提出了一种名为 MILAN 的程序，通过相互信息引导的语言注释对神经元进行自动标记，并可以生成细粒度的描述，以促进对神经网络的理解、分析和控制，并提供了自然语言神经元描述的三个应用实例。

    Jan, 2022

  • 从神经元到图形：大规模解释语言模型神经元

    该论文介绍了一种自动化的方法来解释大型语言模型中的神经元行为，并将其转化为可解释的图形表示，从而提高大型语言模型的可解释性和安全性。

    May, 2023

  • 文本神经元表征的可解释性在自然语言处理中的应用

    使用 Gumbel Softmax 层的梯度上升法可将可视化神经元的技术扩展到 NLP 任务中，产生优于传统语料搜索的 n-gram 表示。该表示突出了 Imaginet 架构的语言和视觉模型之间的句法意识差异。

    Sep, 2018

  • 基于神经元交互的表示合成的神经机器翻译

    通过模拟单个神经元之间的强交互作用，提出了一种新的方法来组成神经机器翻译中不同组件所学习的表示，该方法利用了双线性汇聚来建模单个神经元之间的成对乘法交互作用，并使用低秩近似使模型具有可计算性，并且在 WMT14 英德和英法翻译任务上得到了更好的实验结果。

    Nov, 2019

  • 神经语言模型自然出现稀疏性

    本研究探讨稀疏神经模型在自然语言处理中的重要性，使用出租车欧几里得范数对稀疏度进行量化，发现输入频繁的词在激活方面较为集中，而目标词汇的激活由分散变得集中，并且功能词梯度比内容词梯度更集中。

    Jul, 2019