Nov, 2017

视觉概念与组合投票

PDF
TL;DR本文着眼于深度神经网络内部表示的研究，并使用聚类算法提取了一组视觉概念，展示了这些概念可以用于语义部分检测的无监督方法，并将这些视觉概念组合成了一种简单的模式理论模型，名为 “构成投票”，相较于专门针对语义部分检测的支持向量机和深度网络，证明了这种方法的效果更好。
pattern theorydeep networksvisual conceptssemantic partscompositional voting
发现论文，激发创造
  • 视觉概念学习中的组合多样性

    本文探讨了人类与计算机视觉模型在不同类型的视觉组合任务中的差异，通过大程序空间中的最佳程序来生成具有丰富关系结构的候选视觉对象，发现人类和程序感知上存在着一些相同点，同时在一些结构上存在不同，其中，形成新的概念主要涉及到的是组合机制和抽象。

    May, 2023

  • DeepVoting: 一种鲁棒且可解释的深度网络，用于部分遮挡下的语义部分检测

    本文提出了一种基于深度学习的 DeepVoting 算法，该算法可以检测物体的语义部位，即使存在局部遮挡的情况，并可以同时进行端到端的优化，通过提取局部视觉线索和空间关系进行投票机制，实现了该任务。

    Sep, 2017

  • 基于人口编码的卷积神经网络内部状态无监督学习对象语义部分

    本研究通过对 CNNs 的内部状态进行聚类，提出了一种无监督学习方法来发现物体的语义部件表达，即 Visual Concepts，并证明了其在物体部件检测和语义标注方面的有效性。

    Nov, 2015

  • 视觉语言预训练模型是否学习可组合的基本概念？

    本文研究预训练可视化学习模型是否会自动产生原始概念的表示，例如物体部分的颜色和形状，提出了一个用于探究这个问题的两步框架：组合概念映射 (CompMap)，证明组合模型可以被设计为一组操作，并发现用基本概念激活的模型可以用于细粒度视觉识别和组合泛化任务。

    Mar, 2022

  • 深度组合网络

    本文提出了一种基于层次化组合模型的分析模型，通过显式的结构模型和明确的鉴别成本函数结合，在两个数据集上的实验表明，该模型在判别任务中表现和标准 CNN 相当，同时由于特征单元中结构的明确建模，使得其部分具体化可视化、推理快速分离，并且从局部观察中还原能力更强。

    Sep, 2016

  • 学习组合表示用于少样本识别

    通过引入简单的正则化技术以及利用类别级别属性注释对神经网络进行特征空间分解，本工作试图弥合深度学习模型与人类学习之间的鸿沟，证明组合表示的价值并展示少量样本即可学习新类别的分类器。

    Dec, 2018

  • 走向概念学习的组合性

    利用概念为基础的可解释性方法，通过将其嵌入分解为高级概念，提供了一种深入研究基础模型内部的透视角度。我们展示了现有的无监督概念抽取方法找到的概念并不是可组合的。为了自动发现可组合的概念表示，我们确定了这些表示的两个显著特性，并提出了用于找到符合这些特性的概念的可组合概念抽取算法 (CCE)。我们在图像和文本数据上评估了 CCE，并且结果表明 CCE 找到了更多可组合的概念表示，并在四个下游分类任务上取得了更好的准确率。代码和数据可在 https:// 此网址 获取。

    Jun, 2024

  • SCAN：学习分层组合视觉概念

    该论文介绍了一种名为 SCAN 的学习框架，可通过快速符号关联以无监督方式发现视觉基元并将其作为抽象概念来学习概念。SCAN 还可以通过符号指令遍历和操作视觉概念的隐式层次结构，并通过逻辑组合操作创建视觉概念的新组合，并能够生成多模态双向推断的结果。

    Jul, 2017

  • 视觉探索与灵感的概念分解

    本文提出利用大型视觉 - 语言模型和本体学习分解视觉概念，进而生成一棵具有层次分明的树形结构的视觉概念。在该树的每个节点，我们使用预先训练的文本 - 图像模型的潜在空间中注入学习嵌入向量来表示每一个子概念，以及一系列正则化方法来指导节点内嵌入向量的优化。该方法允许用户探索和发现从原概念中衍生出的新概念，并可以将每个节点中学到的概念因素组合起来创造新的视觉创意，在自然语言句子中应用这些概念因素来实现新设计。

    May, 2023

  • 将神经学习和符号推理相结合，应用于视觉辨别

    提出一种新的问题，即视觉鉴别谜题（VDP），要求发现可解释的鉴别器以按照逻辑规范对图像进行分类，用组合的神经符号框架结合神经网络和符号学习器，实现机器学习模型的合并来处理高级认知任务。

    Jul, 2019