Nov, 2022

一种可解释的神经元嵌入用于静态知识蒸馏

PDF
TL;DR通过将神经元嵌入语义空间来提取它们内在的全局语义，提出了一种新的可解释神经网络方法。神经元的激活相似性和语义向量相似性被不断对齐来优化语义向量，可视化语义向量可以定性地解释神经网络的工作机制，并经过了定量的知识蒸馏任务的实验验证，表明提出的静态知识蒸馏方法表现出了可比或甚至优于现有的基于关系的知识蒸馏方法。
发现论文，激发创造
  • 深度神经网络全局和局部解释的语义学

    本文提出一种数学优化方法，将人类可解释的语义概念与特征空间中的向量相互关联，从而诠释全局和局部的深度神经网络决策过程。实验表明，该方法可以有效解释已有深度神经网络模型。

    Oct, 2019

  • 用概念向量解开神经元表示

    研究为了实现模型机制性可解释性，提出了一种方法将多义神经元解离成概念向量来达到单一概念的表征，该方法可以根据用户所需的概念级别寻找精细的概念，分析显示多义神经元可以分解成神经元的线性组合的方向，评估表明找到的概念向量编码了连贯的人类可理解的特征。

    Apr, 2023

  • SPINE: 稀疏可解释神经嵌入

    通过新颖的去噪 k 稀疏自编码器的变种，我们生成了高效且可解释的词向量，并在大规模人类评估中表现出比 GloVe 和 word2vec 更好的可解释性和性能。

    Nov, 2017

  • 可解释化嵌入过程的知识转移：基于层叠主成分分析和图神经网络

    本文提出一种基于主成分分析生成可解释嵌入过程知识的知识蒸馏方法，用于训练轻量级的神经网络。实验结果表明，该方法在 CIFAR100 数据集上提高了 2.28% 的性能，而且嵌入过程的知识可以通过可视化 KD 过程来解释。

    Apr, 2021

  • 通过迭代自我语义知识蒸馏来提高知识图谱嵌入

    提出了一种迭代自我语义知识蒸馏策略，以提高低维空间下知识图谱 (KGs) 中的知识图谱嵌入 (KGE) 模型表达能力，实现更好的链接预测。通过使用一种新颖的语义提取块，将迭代基于的语义信息提取到训练模型的自我蒸馏中，从而使低维模型具有更高的表达能力，且该策略不仅模型无关，而且可以与其他 KGE 模型无缝结合。在四个标准数据集上进行了实验验证，证明了该自我蒸馏策略的有效性和稳定性。

    Jun, 2022

  • 神经代码理解：可学习的代码语义表示

    本文提出了一种学习代码语义的新颖处理技术，并将其应用于各种程序分析任务中，其中使用的 Embeddings 基于独立于源编程语言的代码的 IR，现有技术不足以强烈理解程序语义。

    Jun, 2018

  • 利用语义信息提高深度神经网络的可解释性

    本文提出了一种新颖的技术，通过利用人类描述中蕴含的丰富语义信息来提高深度神经网络的可解释性，特别是在视频字幕任务中，通过一个可解释损失将人类描述中的一组语义相关主题集成到模型中，并提出了一种预测差异最大化算法来解释每个神经元的学习特征。实验结果表明这种方法在视频字幕和视频动作识别方面非常有效。

    Mar, 2017

  • 使用大型模型对深度视觉神经元进行自动化自然语言解释

    通过研究神经元来解释深度神经网络并生成语义解释，以解决目前在此方面的限制、缺乏可伸缩性和适用性的问题。

    Oct, 2023

  • 在汉堡中查找豆子：利用深度语义视觉嵌入实现定位

    本研究提出了一种新的两条路径的神经网络，其中视觉路径采用了最新的空间感知池化机制模型，结合从头开始训练的文本路径，实现了一种多模态嵌入。在处理带有标注图像的任务中经过训练后，该模型可提供新的跨模态检索性能和短语的视觉定位，达到了最新的最佳表现。

    Apr, 2018

  • 静态嵌入作为高效知识库？

    研究表明，与结构化知识库不同，掩码句子被用作探针（如 “巴黎是 [MASK] 的首都”），以调查大型预训练语言模型中存储的事实知识。 在跨十种不同语言的实验中，我们发现，相对于预训练语言模型，使用静态嵌入简单的最近邻匹配效果更好。其中一个重要原因是，静态嵌入通常是为大型词汇表进行学习的。

    Apr, 2021