利用自组织映射在神经网络中寻找概念表示
该研究审查了通过提出分类法来将人类可理解的概念与神经网络中的内部表示相对应的研究,并发现了与模型可解释性目标有关的文学研究中的歧义,即是理解机器学习模型还是在部署领域有用的可行解释。
Dec, 2022
该研究使用神经网络学习 32 种动物的特征向量,并基于继承表示原理构建了一个 “动物空间” 的认知地图,该地图能够使用插值技术准确地表示完全新的或不完整的输入,并在不同的认知地图级别中呈现出不同的特征。
Oct, 2022
提出了一种新的方法来获得生成模型中已知或新的高级概念的显著性图,即概念显著性图,对于深度学习中的潜在变量模型提高了解释性。该方法被应用于 CelebA 数据集的 VAE 潜在空间中和小鼠嗅球的空间转录组数据中,证明了其在高级概念的解释和复杂生物系统理解中的潜力。
Oct, 2019
介绍了一种使用继任表示和神经网络的模型,以及单词嵌入向量,用于构建三个不同概念的认知图,从而根据输入提供多模态上下文信息,基于输入和预先存在的知识表示的相似性度量。
Jul, 2023
本文提出了一种从嘈杂的 Web 图像搜索结果中自动学习概念的方法,旨在通过发现子集间共同特征并消除无关实例的方法,基于弱标签数据集学习更高层次的概念,并提出了一种名为 Rectifying Self Organizing Maps (RSOM) 的聚类和离群点检测方法。该方法在学习低级别概念的任务上优于现有研究,而且在学习高级别概念方面也极具竞争力,并且能够利用现有资源在大规模上无监督地工作。
Dec, 2013
使用概念解释将深度学习模型的内部表示转化为人类熟悉的语言,最近的解释性方法提议采用基于概念的解释。本文研究了 Concept Activation Vectors (CAVs) 的三个性质,它们可能在不同层次之间存在不一致性,与不同概念纠缠在一起,并具有空间依赖性,这些性质为解释模型提供了挑战和机会。同时,我们还介绍了工具来检测这些性质的存在,并提供洞见以了解它们对解释的影响,并提出减小它们影响的建议。通过理解这些性质,我们可以利用它们的优势。例如,我们引入了具有空间依赖性的 CAVs 来测试模型在特定概念和类别上是否具有平移不变性。我们在 ImageNet 和一个新的合成数据集 Elements 上进行实验。Elements 旨在捕捉概念与类别之间已知的真实关系。我们发布此数据集以促进对解释性方法的进一步研究和评估。
Apr, 2024
使用神经网络学习多尺度接班人表达,进而构建认知地图和神经网络接班人表达的结构化知识表示形式,实现了在监督学习、强化学习和非空间任务中精确学习并逼真模拟了海马 - 内部子网所观察到的神经元放电模式,为克服深度学习在人工通用智能方面的一些缺陷提供了一种有前途的途径。
Feb, 2022
利用深度网络,基于概念分类器通过梯度下降的训练,我们提出通过观察概念的矩阵统计特征来生成其具体表示或特征签名,进而发现概念集合之间的结构,并通过学习这些特征签名的结构递归生成更高级的概念。当概念相交时,利用概念的特征签名可以找到一种共同主题,并可用于建立概念字典,从而使输入正确识别和路由到参与生成输入的概念集合。
Oct, 2023