走向概念学习的组合性

ICMLJun, 2024

Towards Compositionality in Concept Learning

Adam Stein, Aaditya Naik, Yinjun Wu, Mayur Naik, Eric Wong

TL;DR利用概念为基础的可解释性方法，通过将其嵌入分解为高级概念，提供了一种深入研究基础模型内部的透视角度。我们展示了现有的无监督概念抽取方法找到的概念并不是可组合的。为了自动发现可组合的概念表示，我们确定了这些表示的两个显著特性，并提出了用于找到符合这些特性的概念的可组合概念抽取算法 (CCE)。我们在图像和文本数据上评估了 CCE，并且结果表明 CCE 找到了更多可组合的概念表示，并在四个下游分类任务上取得了更好的准确率。代码和数据可在 https:// 此网址获取。

Abstract

concept-based interpretability methods offer a lens into the internals of foundation models by decomposing their embeddings into high-level concepts. These concept representations are most useful when they are compositional, meaning that the individual concepts compose to explain the f

concept-based interpretability methods compositional concept representations unsupervised concept extraction methods compositional concept extraction downstream classification tasks

发现论文，激发创造

通过后门实现复合概念抽取

本文介绍了一种名为 Composite Concept Extractor（CoCE）的新方法，利用传统的后门攻击技术，在零样本情况下从个体概念中学习复合概念。通过重新调整触发器的模型后门机制，我们在目标对象的流形中创建了一个策略性的失真，该失真由具有目标属性的示例对象诱发（例如，红草莓），确保该失真仅对具有目标属性的目标对象产生影响。然后，采用对比学习来进一步改进这种失真，并提出一种检测受到失真影响的对象的方法。通过对不同数据集的广泛实验和深入分析，证明了我们提出的方法的实用性和适用性。

Jun, 2024

无监督学习组合能量概念

本论文提出 COMET 方法，利用能量函数来表示全局和局部因素，并通过图像重新组合进行无监督发现概念，最终能够泛化未知的视觉概念，并与其他数据集进行概念组合。

Nov, 2021

文本与图像生成模型实现无监督组合概念发现

本文介绍了一种基于无监督学习的方法，探讨反向问题 —— 如何从图像集合中发现代表每个图像的生成概念，进一步利用这些生成概念生成新的艺术和混合图像，并将其用作下游分类任务的一种表示。

Jun, 2023

学习组合表示用于少样本识别

通过引入简单的正则化技术以及利用类别级别属性注释对神经网络进行特征空间分解，本工作试图弥合深度学习模型与人类学习之间的鸿沟，证明组合表示的价值并展示少量样本即可学习新类别的分类器。

Dec, 2018

可证明的物体为中心学习的组合概括

通过可识别性理论的视角，我们研究了何时可以保证物体中心表示在组合泛化中保证可补全一致性，通过合成图像数据的实验验证了我们的理论结果和假设的实践相关性。

Oct, 2023

基于视觉的概念组合

我们提出了概念和关系图（CRG）和概念合成神经网络（Composer），通过对 CRG 的利用来进行视觉基础概念学习，从而学习原始和所有的复合概念，将它们与图像对齐，提高文本到图像匹配的准确性，并且在不同粒度级别（句级和词级）建模形成的基础概念，实现概念合成引领更加鲁棒的基础结果。

Sep, 2021

视觉语言预训练模型是否学习可组合的基本概念？

本文研究预训练可视化学习模型是否会自动产生原始概念的表示，例如物体部分的颜色和形状，提出了一个用于探究这个问题的两步框架：组合概念映射 (CompMap)，证明组合模型可以被设计为一组操作，并发现用基本概念激活的模型可以用于细粒度视觉识别和组合泛化任务。

Mar, 2022

视觉探索与灵感的概念分解

本文提出利用大型视觉 - 语言模型和本体学习分解视觉概念，进而生成一棵具有层次分明的树形结构的视觉概念。在该树的每个节点，我们使用预先训练的文本 - 图像模型的潜在空间中注入学习嵌入向量来表示每一个子概念，以及一系列正则化方法来指导节点内嵌入向量的优化。该方法允许用户探索和发现从原概念中衍生出的新概念，并可以将每个节点中学到的概念因素组合起来创造新的视觉创意，在自然语言句子中应用这些概念因素来实现新设计。

May, 2023

视觉概念与组合投票

本文着眼于深度神经网络内部表示的研究，并使用聚类算法提取了一组视觉概念，展示了这些概念可以用于语义部分检测的无监督方法，并将这些视觉概念组合成了一种简单的模式理论模型，名为 “构成投票”，相较于专门针对语义部分检测的支持向量机和深度网络，证明了这种方法的效果更好。

Nov, 2017

使用相互一致性学习组合视觉概念

本文提出了一种基于生成对抗网络的概念学习方法 ConceptGAN，该方法可用于联合从不同数据集中学习多个概念，并通过循环一致性实现数据增强以提高现实世界应用鲁棒性。实验结果表明，该方法能够生成语义上有意义的图像，并且在一次性人脸验证中取得了出色的效果。

Nov, 2017