使用大型模型对深度视觉神经元进行自动化自然语言解释
本文提出了一种新颖的技术,通过利用人类描述中蕴含的丰富语义信息来提高深度神经网络的可解释性,特别是在视频字幕任务中,通过一个可解释损失将人类描述中的一组语义相关主题集成到模型中,并提出了一种预测差异最大化算法来解释每个神经元的学习特征。实验结果表明这种方法在视频字幕和视频动作识别方面非常有效。
Mar, 2017
本文提出了一种基于内部特征及可视化的方法,能够自动识别预先训练模型中与给定类相关的特征,以进行深度模型的解释和阐释,并且提出了一种针对 deconvNet 可视化操作引入的伪像问题的方法,同时还提出了一个专门用于视觉解释方法客观定量评估的数据集 an8Flower。实验证明,该方法在 MNIST、ILSVRC12、Fashion144k 和 an8Flower 数据集上能够产生具有良好主题相关特征覆盖的详细解释。
Dec, 2017
该篇论文综述了深度神经网络在机器学习中的应用,针对一些需要保证安全性的决策(如控制系统和医疗应用),介绍了当前解释性人工智能(XAI)领域的研究,探究和解释 DNNs 内部和整体行为的方法。
Feb, 2021
使用 BERT 为例,本文提出了一种新颖且可扩展的框架,将文本描述与神经元联系起来,并通过生成式语言模型发现数据特定的可解释描述符,用于解释编码这些描述符的神经元。实验证明,该方法在识别神经元方面达到了 75% 的 2 阶精度和 50% 的 2 阶回想率。
Jan, 2024
解释性人工智能中的一个重要挑战是如何正确解释隐藏神经元的激活:准确的解释可以揭示深度学习系统在输入上检测到的相关信息,解密了深度学习系统的黑盒特性。本文提供了一种基于大规模背景知识和概念归纳的符号推理方法的研究,旨在自动推断和验证隐藏神经元激活的解释,结果表明我们可以自动将背景知识的有意义标签附加到卷积神经网络的密集层的个体神经元上。
Aug, 2023
研究了深度学习方法面临的可解释性困境,提出了一种叫做 “深度视觉解释” 的框架,通过可视化技术来识别和暴露深度学习模型性能行为的假设,以提高模型的可解释性和可调试性,并展示了初步的可解释性应用实验结果。
Nov, 2017
该论文的研究内容主要涵盖了人工智能、深度神经网络、可解释 AI、视知觉技术以及深度模型的调试等领域。论文提出的 Perception Visualization 技术通过可视化深度模型对于输入图像的感知来解释模型预测结果,研究发现人类能够更好地理解和预测系统决策,从而使深度模型的调试和部署更加可靠。
Apr, 2022
本文提出了一种新颖的方法,开发了一个高性能的 VQA 系统,能够通过集成的文本和视觉解释阐述其答案,并捕捉到深度神经网络推理的重要方面,从而比竞争方法具有更好的自动化和人类评估指标。
Sep, 2018