利用大型神经成像数据集中的连接性图谱等手段,改善边缘端机器学习的效率和鲁棒性,并通过对果蝇和哺乳动物视脑回路连接等领域的分析,展示了多种潜在的应用脑科学领域洞见的方法。
May, 2023
理解深度网络模型在其学习到的表示中捕捉到的内容是计算机视觉中的一个基本挑战。我们提出了一种新的方法来理解这样的视觉模型,即视觉概念连接图(VCC),它以完全无监督的方式发现人类可解释的概念及其在不同层之间的连接。我们的方法同时揭示了网络结构的细粒度概念、所有层之间的连接权重,并且适用于网络结构的全局分析(例如,分层概念组件的分支模式)。此前的工作揭示了如何从单个层提取可解释的概念并检查它们对分类的影响,但未提供在整个网络架构上进行多层概念分析的方法。定量和定性的实证结果显示了 VCC 在图像分类领域的有效性。此外,我们利用 VCC 来进行故障模式调试,以揭示深度网络中错误产生的位置。
Apr, 2024
这项研究工作旨在通过多模态视觉 - 文本模型和基于线性单元之间的随机局部竞争的网络层,提出了一种框架,以更容易地发现视觉任务网络中每个神经元的个体功能,并生成描述性文本以解释网络的决策过程。
Oct, 2023
本文介绍了一种用于分类脑网络的新方法:通过提取对比子图来建立简单而可解释的模型,该方法在分类准确度上表现优异,并在分析自闭症谱系障碍儿童和正常儿童的脑网络数据集时发现了与神经科学文献中的背景知识相符的有趣模式。
Jun, 2020
通过对感知神经元输入输出映射建模的深度前馈神经网络提出新的计算机制提取系统方法,将此方法应用于视网膜深层网络模型。研究揭示了视网膜的预测特征提取以及各种时空刺激下信号偏离期望的计算机制,为神经科学深度学习研究提供了 新的理论基础和研究方向。
Dec, 2019
通过提出一种名为 ProxPulse 的新攻击方法,揭示了视觉电路的可操作性问题,这为深度神经网络的机械解释性提供了新的研究方向。
Jun, 2024
本文提出了一种名为 Automatic Circuit DisCovery (ACDC) 的算法,用于自动识别网络中的重要单元,通过在神经网络进行数据集、指标和单元的研究,可理解每个神经网络区域的功能及其组成的电路。
Apr, 2023
通过研究神经元来解释深度神经网络并生成语义解释,以解决目前在此方面的限制、缺乏可伸缩性和适用性的问题。
通过采用监督超像素编码技术和图形技术,可以优化模型,在不影响 CNN 模型性能的情况下将优化参数提高 26 倍,并能够在脑肿瘤患者的大脑图像中识别特征连接
Jul, 2023
我们引入了一种发现和应用稀疏特征电路的方法,这些电路是人可解释特征的因果相关子网络,用于解释语言模型的行为。与以前的工作中的电路相反,稀疏特征电路基于细粒度单元,可以提供对预期之外的机制的详细理解,并且在下游任务中非常有用。我们介绍了 SHIFT,通过消除人类判断为任务无关的特征,改善了分类器的泛化能力。最后,我们展示了一个完全无监督和可扩展的可解释性流程,用于自动发现模型行为中的成千上万的稀疏特征电路。
Mar, 2024