Nov, 2023

MetaReVision: 具有视觉依据的组合概念获取的检索元学习

PDF
TL;DRMetaReVision 是一个检索增强元学习模型，用于解决基于视觉感知的构成概念学习问题。该模型由检索模块和元学习模块组成，通过从已检索的基本概念中学习来支持元训练视觉 - 语言模型，以识别构成概念。MetaReVision 通过元学习从构建的检索集中学习出一种通用的构成表示，可以快速更新以识别新的构成概念。实验结果表明，MetaReVision 在构成学习过程中胜过其他竞争基准，并且检索模块在此过程中起重要作用。
发现论文，激发创造
  • 视觉概念 - 元概念学习

    本研究提出了一种基于视觉概念 - 元概念学习器（VCML）的概念和元概念共同学习的方法，利用视觉表征为预测概念间关系提供基础，并通过学习元概念来弥补数据缺失、误差等问题。实验验证了该方法的有效性。

    Feb, 2020

  • 少样本学习的概念学习器

    COMET 是一种元学习方法，通过学习沿着可解释的人类概念维度的模式知识，从而改进泛化能力，而不是学习一个联合的无结构度量空间。在各种领域中的少样本任务中，COMET 的表现优于强元学习基线，且提供模型预测背后的解释。

    Jul, 2020

  • 无训练的零样本组合图像检索和本地概念重新排序

    本文提出了一种新的基于零样本训练的无需训练的组合图像检索方法 (TFCIR)，通过将查询翻译成易于理解的文本，提高计算效率并保持模型的泛化性。此外，引入了局部概念再排序机制 (LCR) 来聚焦于从修改指令中提取的有区别的局部信息。在三个 ZS-CIR 基准测试上的大量实验证明了该方法在开放领域数据集 CIRR、CIRCO 以及时尚领域数据集 FashionIQ 上实现了与最先进方法相当的性能，并明显优于其他无需训练的方法。

    Dec, 2023

  • 元学习以复合泛化为目标

    自然语言是组成的，神经网络在组成泛化方面表现差， 自相似度驱动的元学习可提高自然语言处理模型的组成泛化能力。

    Jun, 2021

  • 检索增强对比视觉 - 文本模型

    本论文提出了 RECO 模型，该模型通过外部记忆检索获取精细化知识，应用于现有视觉文本模型中，并在 Stanford Cars、CUB-2011 和 OVEN benchmark 等多项任务中取得了显著性能提升。

    Jun, 2023

  • 视觉语言预训练模型是否学习可组合的基本概念？

    本文研究预训练可视化学习模型是否会自动产生原始概念的表示，例如物体部分的颜色和形状，提出了一个用于探究这个问题的两步框架：组合概念映射 (CompMap)，证明组合模型可以被设计为一组操作，并发现用基本概念激活的模型可以用于细粒度视觉识别和组合泛化任务。

    Mar, 2022

  • 基于视觉的概念组合

    我们提出了概念和关系图（CRG）和概念合成神经网络（Composer），通过对 CRG 的利用来进行视觉基础概念学习，从而学习原始和所有的复合概念，将它们与图像对齐，提高文本到图像匹配的准确性，并且在不同粒度级别（句级和词级）建模形成的基础概念，实现概念合成引领更加鲁棒的基础结果。

    Sep, 2021

  • CounterCurate：通过反事实的例子增强物理和语义的视觉 - 语言组合推理能力

    通过 CounterCurate 框架，综合改善对比式和生成式多模态模型的视觉 - 语言组合推理能力，通过解决忽视物理基础推理（计数和位置理解）和使用高能力文本和图像生成模型进行语义反事实微调的潜力等两个问题来提高推理性能。

    Feb, 2024

  • 基于能力意识的视觉概念学习问答课程

    通过代表难度和模型能力的 mIRT 模型，设计了一个基于问题回答学习的适应课程，应用于视觉概念学习，实验结果表明这种方法可以实现卓越的数据效率和收敛速度，仅使用 40% 的训练数据，与其他最先进的方法相比，收敛速度提高了三倍。

    Jul, 2020

  • 走向概念学习的组合性

    利用概念为基础的可解释性方法，通过将其嵌入分解为高级概念，提供了一种深入研究基础模型内部的透视角度。我们展示了现有的无监督概念抽取方法找到的概念并不是可组合的。为了自动发现可组合的概念表示，我们确定了这些表示的两个显著特性，并提出了用于找到符合这些特性的概念的可组合概念抽取算法 (CCE)。我们在图像和文本数据上评估了 CCE，并且结果表明 CCE 找到了更多可组合的概念表示，并在四个下游分类任务上取得了更好的准确率。代码和数据可在 https:// 此网址 获取。

    Jun, 2024