正确的概念:通过与其解释交互来修订神经符号概念
提出了一种无需显式监督,通过观察图片和配对问答学习视觉概念、单词和句子语义分析的神经符号概念学习器,其通过神经符号推理模块将符号程序执行于潜在场景表示,辅助学习新词并解析新句子,使用课程学习指导对图像和语言的复合空间进行搜索,并进行了广泛实验来证实其在学习视觉概念、单词表示和语义分析方面的准确性和效率。
Apr, 2019
本论文研究通过弱监督和隐式原型表达来学习概念基础表达,使用交互式概念交换网络(iCSNs)将概念信息绑定到特定的原型插槽中,并通过基于几何对象共享的视觉概念在 “初级概念推理”(ECR)数据集上进行实验。
Dec, 2021
本文提出了一个基于结构化视觉概念的框架(VRX),以解释分类神经网络的推理过程,并提供模型决策的逻辑和概念层次的解释,旨在弥补黑盒神经网络缺乏可解释性和透明性的缺陷。通过广泛的实验,研究表明 VRX 可以有效地回答关于预测的 “为什么” 和 “为什么不” 的问题,提供易于理解的洞察,同时还可以提供改善神经网络性能的指导意见。
May, 2021
通过在深度模型中主动注入知识,使用语义概念的层次树规范化图像数据实例的表达方式,提高模型可解释性,改善语义概念的分离,并不会对模型的分类性能产生负面影响。
Jul, 2023
通过引入外部知识和核心概念,我们提出了一种新颖的知识感知神经元解释框架,用于解释图像场景分类模型的预测结果。我们的方法相比基线模型在解释性能上提供了更好的预测解释,并且核心概念能够有效地改善原始模型的性能。
Jan, 2024
该论文提出了一种带有附加概念层的 CNN 架构的引导学习方法,用于学习视觉特征和单词短语之间的关联,并通过优化预测准确性和特征表示的语义来学习与人类感知一致的概念,实验结果表明,所提出的模型可以在不牺牲准确性的情况下学习一致于人类感知的概念,并可将这些学习到的概念转移到具有相似概念的新对象类别中。
Jan, 2021
该研究旨在通过目标 - 中心的组合式注意力模型(OCCAM)和符号概念空间,从与图像相关的问题 - 答案对中识别概念和它们的分层关系,并实现一个可解释的模型。该模型通过设计新的 OCCAM 框架执行视觉推理任务,并提出一种方法,从对象的视觉特征和问题词之间的注意力模式中使用线索,诱导对象和关系的概念。结果表明,OCCAM 在无需人类注释的功能程序的情况下取得了最新的技术水平,并且所诱导的概念精确而充足,在视觉特征或在引入的符号概念空间中表示的对象上都能够取得相当的性能。
Nov, 2020
本文提出一种深度监督方法,通过利用中间概念对 CNN 的隐藏层进行监督,将先前的领域结构融入到神经网络训练中,显著提高了推广能力。该方法还可以仅使用合成场景来训练,并在实际图像上取得了 2D/3D 关键点本地化和图像分类的最新性能。
Jan, 2018