Jun, 2023

DesCo: 利用丰富的语言描述学习物体识别

PDF
TL;DR该研究提出了一种新的描述条件（DesCo）学习范式，利用大型语言模型作为常识知识引擎并设计了上下文敏感查询来改善模型的描述能力，从而在零样本检测环境下，超越了先前的最先进模型，以提高物体识别的准确性。
vision-language approachesobject recognition modelslanguage descriptionscontextual informationzero-shot detection setting
发现论文，激发创造
  • 利用大型语言模型的描述进行视觉分类

    本文介绍了一种基于描述符的视觉语言模型分类方法，通过查询大型语言模型获取描述符，实现从中获得更多的信息并提供可解释性；实验证明了该方法在图像分类精度，适应新概念和缓解偏差等方面有着广泛的优势。

    Oct, 2022

  • 开放词汇目标检测的学习目标语言对齐

    提出了一种使用自然语言监督学习从配对的图像文本数据中直接学习的新型开放词汇目标检测框架，通过将对象 - 语言对齐形式化为一个图像区域特征集合和一个词向量集合之间的集合匹配问题，可以更简单和有效地在图像 - 文本对上训练开放词汇对象探测器，并在两个基准数据集上进行了广泛的实验，在 LVIS 等新类别上实现了 32.0％的 mAP 和 21.7％的掩膜 mAP 等卓越性能。

    Nov, 2022

  • 基于自然语言的目标描述和检索

    本文介绍了一种基于对象描述的联合学习视觉和语言以深入了解对象的方法，并提出了两个新的架构来解决对象字幕和基于自然语言的对象检索单元。研究表明，使用混合的端到端 CNN-LSTM 网络可以有效地解决两个问题，并在推理时间非常快的同时，提供了对对象的详细理解。

    Mar, 2018

  • 语言条件的检测变压器

    我们提出了一个新的开放词汇检测框架 DECOLA，该框架使用语言条件下的物体检测器和伪标签来实现零样本性能。

    Nov, 2023

  • 生成场景描述的 V&L 模型中跨模态交互的理解

    使用 Vision and Language 模型，结合场景和物体描述的数据集，本文分析了其微调的效果，揭示了小量精选数据即可生成不失物体级别描述的场景描述，并讨论与计算和认知科学研究的并行之处。

    Nov, 2022

  • LLMs 遇见 VLMs：用细粒度描述符提升开放词汇物体检测

    DVDet 是一个描述符增强的开放词汇检测器，引入条件上下文提示和分层文本描述符，实现了精确的区域 - 文本对齐以及一般的开放词汇检测训练。

    Feb, 2024

  • 从上下文描述中检索图像

    本文介绍了新的多模态挑战 ImageCoDe，探讨当前视觉 - 语言模型集成上下文、包括感知和时间信息的能力。通过从一批候选图像中选择正确的图像作为回应上下文描述，验证了多种现代模型的表现，并发现相对于人类表现差距巨大。文章介绍了新的模型变体及其改进效果，希望 ImageCoDe 能够推动视觉理解领域的进步。

    Mar, 2022

  • 使用伪字幕标签进行开放词汇物体检测

    该研究提出了一种名为 Pseudo Caption Labeling（PCL）的简单而有效的方法，利用图像字幕模型生成对不同角度目标实例的描述，通过这些大量的数据样本进行知识提炼，以丰富目标的属性和关系等细节，从而提高模型的性能，实验表明该方法可以与任何图像字幕模型一起使用，不需要对模型架构或训练流程进行任何限制。

    Mar, 2023

  • 语言条件下的视觉目标搜索观测模型

    在这项研究中，我们将物体搜索问题视为部分可观察的马尔可夫决策过程（POMDP），其中物体检测器和观察模型中的视觉传感器噪声由基于复杂语言描述的单个深度神经网络确定。通过我们的语言条件观察模型（LCOM），任何物体的语言描述都可以用来生成适当的物体检测器和噪声模型，并且训练 LCOM 仅需要现成的监督图像字幕数据集。我们在模拟环境中与最先进的物体搜索算法进行了实证评估，并证明使用我们的观察模型进行规划可以显著提高平均任务完成率（从 0.46 提高到 0.66），并且比使用固定噪声模型的方法更高效快速地进行物体搜索。我们将该方法应用于 Boston Dynamics Spot 机器人上，在房间范围内处理复杂的自然语言物体描述，并有效地找到物体。

    Sep, 2023

  • 通过视觉和语言知识蒸馏进行开放式目标检测

    本文提出了一种通过视觉和语言知识蒸馏的训练方法 ViLD，使得我们可以使用预先训练的图像分类模型直接检测和分类未知类别的物体，其在 LVIS 和其他数据集上的表现超过了现有的最先进水平。

    Apr, 2021