Oct, 2023

表示、索引和操作概念的简单机制

PDF
TL;DR利用深度网络，基于概念分类器通过梯度下降的训练，我们提出通过观察概念的矩阵统计特征来生成其具体表示或特征签名，进而发现概念集合之间的结构，并通过学习这些特征签名的结构递归生成更高级的概念。当概念相交时，利用概念的特征签名可以找到一种共同主题，并可用于建立概念字典，从而使输入正确识别和路由到参与生成输入的概念集合。
发现论文，激发创造
  • 学习潜在层次模型中的离散概念

    从高维数据（例如图像）中学习概念对于构建与人工智能模型相符且可解释的机器学习模型具有潜力。本研究通过将概念形式化为离散潜在因果变量，并使用嵌入在高维数据中的概念的层次因果模型来提供理论洞见与条件，以促进从无监督数据中学习这些概念的可行性。通过合成数据实验证实我们的理论观点，并讨论了对理解潜在扩散模型的潜在机制的影响，同时提供了相应的经验证据。

    Jun, 2024

  • 将知识表征映射到概念：回顾与新视角

    该研究审查了通过提出分类法来将人类可理解的概念与神经网络中的内部表示相对应的研究，并发现了与模型可解释性目标有关的文学研究中的歧义，即是理解机器学习模型还是在部署领域有用的可行解释。

    Dec, 2022

  • 使用统计推理和交互式可视化在学习的表示中发现概念

    本文提出两种方法：多重假设检验和交互式可视化，来引导用户发现有意义的概念，通过模拟实验和真实数据的演示可视化，发现这些技术能够在无法预定义描述有意义概念的情况下为用户发现有关概念提供有前途的策略，但不完全自动化该过程。

    Feb, 2022

  • 利用自组织映射在神经网络中寻找概念表示

    神经网络学习过程中，通过自组织映射可以视觉和计算地检测神经网络各层激活向量与抽象概念之间的对应关系，并且相对熵可以用作一种合适的方法来识别和定位概念的神经表示，实现概念的可视化并理解其在解决预测任务中的重要性。

    Dec, 2023

  • 从神经激活到概念：关于解释神经网络中的概念的调查

    综述了最近的方法来解释神经网络中的概念，强调了将学习和推理结合起来的重要性，并探讨了将概念知识插入神经网络架构的可能性，为实现基于可解释概念的神经符号人工智能迈出重要一步。

    Oct, 2023

  • 神经网络中将学习到的概念归因于训练数据

    通过深度学习模型和数据归因方法，在多层网络上训练网络和探针集合，研究了概念形成的可靠性和内部表示中的人类可解释特征。

    Oct, 2023

  • 深度学习系统作为复杂网络

    该文章使用复杂网络中常用的技术研究了深度置信网络，以期获得从学习过程中得到的计算图的结构和功能特性的一些见解。

    Sep, 2018

  • 通过引导概念学习实现可理解的卷积神经网络

    该论文提出了一种带有附加概念层的 CNN 架构的引导学习方法，用于学习视觉特征和单词短语之间的关联，并通过优化预测准确性和特征表示的语义来学习与人类感知一致的概念，实验结果表明，所提出的模型可以在不牺牲准确性的情况下学习一致于人类感知的概念，并可将这些学习到的概念转移到具有相似概念的新对象类别中。

    Jan, 2021

  • 使用中间概念的深度监督

    本文提出一种深度监督方法，通过利用中间概念对 CNN 的隐藏层进行监督，将先前的领域结构融入到神经网络训练中，显著提高了推广能力。该方法还可以仅使用合成场景来训练，并在实际图像上取得了 2D/3D 关键点本地化和图像分类的最新性能。

    Jan, 2018

  • 深度神经网络语义发展的数学理论

    通过分析深度线性网络中的非线性动态，我们找到了确切的解决方案，从而解释了语义认知中许多不同现象的普遍性，包括概念的分层差异、语义错觉、项目典型性和类别一致性的出现，以及发展过程中归纳投射模式的变化，以及跨物种的神经表示中语义相似性的保持。

    Oct, 2018