我们提出了一种利用对比概念的自动特征解释（FALCON）的可解释性框架来解释图像表示的特征，通过使用大规模字幕数据集（如 LAION-400m）和预训练的视觉 - 语言模型（如 CLIP），FALCON 对高度活化的裁剪图像进行字幕，并得出一些共享的、人可理解的概念，从而解释目标特征。FALCON 还使用低激活的（反事实的）图像进行对比解释，以消除虚假概念。我们展示了当在组中研究时，比如在最先进的无监督和有监督模型中观察到，少于 20% 的表示空间可以通过单独的特征解释。我们通过 FALCON 展示了在更大的空间中研究的特征更具解释性，并且可以通过高阶计分概念来解释。我们讨论了如何使用提取的概念来解释和调试下游任务中的失败。最后，我们提出了一种通过学习简单的线性变换，将概念从一个（可解释的）表示空间转移到另一个未见的表示空间的技术。

Jul, 2023

本文提出一种使用语言和视觉特征学习新视觉概念及其与其他概念的交互的方法，其中利用转置权重共享方案改进图像字幕模块，以有效避免过拟合新概念。同时构建了三个新颖概念数据集进行实验验证。

Apr, 2015

本研究提出了一种基于视觉概念 - 元概念学习器（VCML）的概念和元概念共同学习的方法，利用视觉表征为预测概念间关系提供基础，并通过学习元概念来弥补数据缺失、误差等问题。实验验证了该方法的有效性。

Feb, 2020

我们提出了一个框架，使机器人能够通过与人类用户进行当场语言交互来学习新的视觉概念和任务。通过在概念层次结构中给予新概念的父节点增加信息传播，我们提出了一种新方法 Hi-Viscont，该方法允许学习视觉概念层次结构的方法学习新的概念并解决未见过的机器人任务。我们还将视觉任务表示为带有语言注释的场景图，从而使我们能够零样例实时创建任务的新排列组合。通过与基线模型比较 Hi-Viscont 在视觉问答中的表现，我们得出一系列结果。在叶节点概念上，Hi-Viscont 与基线模型具备可比性，但在非叶节点概念上平均提高了超过 9%。对比基线模型，我们的框架在成功率、物体级准确率上分别提高了 33% 和 19%，从而证明了我们的模型在机器人的持续学习环境中学习任务和概念的能力。

Dec, 2023

通过从大型预训练的视觉语言模型中提取和训练一组概念编码器，我们的目标是学习一种以语言为导向的视觉概念表示，以重现输入图像，并通过遵循一组与视觉相关的概念轴从新的测试图像中提取概念嵌入，从而生成具有视觉概念新组合的图像。

Dec, 2023

使用模糊逻辑算子生成任意 ALC 本体的模型结构并使用多个模型结构计算语义蕴涵，FALCON 可以实现对 ALC 本体的近似语义蕴涵，从而赋予神经网络世界模型和推理能力，提升生物医学领域中的机器学习。

Aug, 2022

提出了一种无需显式监督，通过观察图片和配对问答学习视觉概念、单词和句子语义分析的神经符号概念学习器，其通过神经符号推理模块将符号程序执行于潜在场景表示，辅助学习新词并解析新句子，使用课程学习指导对图像和语言的复合空间进行搜索，并进行了广泛实验来证实其在学习视觉概念、单词表示和语义分析方面的准确性和效率。

Apr, 2019

本文提出了一种通过生成特定概念并将其用于多个图像来提高控制能力的方法，通过仅使用文本就可以生成概念而无需从输入数据复制可视化，并通过一组比较发现我们的方法是超越仅使用文本提示的重要改进。

Mar, 2023

本文介绍了一种新的框架，用于探究和提升视觉语言模型的关系、组合和上下文理解。我们提出了一个基准数据集来检测内容理解的三个方面。我们实验了 5 种流行的模型，并发现它们大多数难以展示出概念理解。然而，我们发现交叉注意力可以帮助学习概念理解，并提出了一种新的微调技术，以奖励我们提出的三个概念理解措施。我们希望这些基准测试可以帮助社区评估和改进大型视觉语言模型的概念理解能力。

Apr, 2023

本文提出了一种利用文本语料库和视觉语料库进行自动可视化概念发现的算法，该算法基于关联图像的视觉判别力自动筛选文本术语，并使用视觉和语义相似性将其分组成概念。 通过双向图像和句子检索任务和图像标记任务说明了所发现概念的应用，结果表明发现的概念不仅显著优于几个大型手动选择的概念集，而且在检索任务中也取得了最先进的性能。

Sep, 2015