通过后门实现复合概念抽取

Jun, 2024

Composite Concept Extraction through Backdooring

Banibrata Ghosh, Haripriya Harikumar, Khoa D Doan, Svetha Venkatesh, Santu Rana

TL;DR本文介绍了一种名为 Composite Concept Extractor（CoCE）的新方法，利用传统的后门攻击技术，在零样本情况下从个体概念中学习复合概念。通过重新调整触发器的模型后门机制，我们在目标对象的流形中创建了一个策略性的失真，该失真由具有目标属性的示例对象诱发（例如，红草莓），确保该失真仅对具有目标属性的目标对象产生影响。然后，采用对比学习来进一步改进这种失真，并提出一种检测受到失真影响的对象的方法。通过对不同数据集的广泛实验和深入分析，证明了我们提出的方法的实用性和适用性。

Abstract

Learning composite concepts, such as \textquotedbl red car\textquotedbl , from individual examples -- like a white car representing the concept of \textquotedbl car\textquotedbl{} and a red strawberry representing the concept of \textquotedbl red\textquotedbl -- is inherently challengi

composite concepts composite concept extractor backdoor attacks zero-shot setting contrastive learning

发现论文，激发创造

走向概念学习的组合性

利用概念为基础的可解释性方法，通过将其嵌入分解为高级概念，提供了一种深入研究基础模型内部的透视角度。我们展示了现有的无监督概念抽取方法找到的概念并不是可组合的。为了自动发现可组合的概念表示，我们确定了这些表示的两个显著特性，并提出了用于找到符合这些特性的概念的可组合概念抽取算法 (CCE)。我们在图像和文本数据上评估了 CCE，并且结果表明 CCE 找到了更多可组合的概念表示，并在四个下游分类任务上取得了更好的准确率。代码和数据可在 https:// 此网址获取。

Jun, 2024

通过自组合学习发现人 - 物互动概念

本研究提出了一个人 - 物交互全面了解的新任务，称为 HOI Concept Discovery，并针对该任务设计了自组合学习框架（或 SCL），该方法可以使学习在已知和未知的 HOI 概念上进行，并在多个数据集上展示了良好的效果。

Mar, 2022

学习关注力作为组合式零样本学习中的解缕器

该论文提出了一种使用交叉注意力作为组合分离器来学习分离概念嵌入的方法，使用地球移动距离作为跨注意力模块中的特征相似度度量，在多个概念概率的基础上提高推理结果，并在三个 CZSL 基准数据集上进行的综合实验表明，该方法在闭合和开放世界设置下都显著优于以前的方法，建立了一个新的最先进技术。

Mar, 2023

少样本学习的概念学习器

COMET 是一种元学习方法，通过学习沿着可解释的人类概念维度的模式知识，从而改进泛化能力，而不是学习一个联合的无结构度量空间。在各种领域中的少样本任务中，COMET 的表现优于强元学习基线，且提供模型预测背后的解释。

Jul, 2020

概念中心 Transformer：基于物体概念学习的概念 Transformer，用于可解释性

我们提出了以目标为中心的 “Concept-Centric Transformers”（CCT），通过整合基于面向对象学习的新型概念提取模块，提供更强大的解释性和性能，与 CT 和其他现有方法在 MNIST（奇偶），CIFAR100（超类）和 CUB-200-2011（鸟物种）分类问题上进行测试，实验证明 CCT 不仅在所有三个测试问题中的分类准确度显着优于所有选择的基准分类器，而且与 CT 相比，它生成更一致的基于概念的分类输出解释。

May, 2023

无监督概念发现减轻虚假相关性

我们提出了一种用于减轻虚假相关的概念平衡技术，通过利用现有的物体为中心的表示学习方法，无需对子群进行人工标注，在水鸟、CelebA 和 ImageNet-9 基准数据集上进行评估并展示了优越或竞争性的性能。

Feb, 2024

对基于概念可解释性工具的对抗攻击，强调柯基在蜂窝分类中的重要性

该研究证明了基于概念的解释方法的漏洞性能够受到对抗性攻击的影响，需要为机器学习管道和模型解释过程提供安全保障。

Oct, 2021

索多玛的苹果：通过对比学习在优越句子嵌入中隐藏后门

本论文发现对比学习可以为预训练模型生成优秀的句向量，但也容易受到后门攻击。我们提出了第一个针对最先进的句子嵌入模型进行监督和非监督学习的后门攻击框架 BadCSE。通过注入后门攻击到句子嵌入中，BadCSE 在下游微调时具有抗干扰的特性。我们在 STS 任务和其他下游任务上评估了 BadCSE，监督式非定向攻击获得了 194.86％的性能下降，而定向攻击将后门添加到了目标嵌入中，成功率为 97.70％，同时保持模型的实用性。

Oct, 2022

零样本事件检测的动态概念组合

该研究旨在通过零样本学习自动检测视频中的事件，使用预先训练的概念分类器并学习对应权重以提高模型效果，在多个数据集上进行的实验表明该方法优于传统方法。

Jan, 2016

工业 4.0 中可扩展的概念抽取

本文研究并应用概念提取技术到工业 4.0 场景中，提出了一种新颖的计算概念重要性的过程，可以在工业中帮助理解卷积神经网络（CNNs）的预测过程，成功地从工业案例中提取出与每个任务相关的概念。

Jun, 2023