Mar, 2024

对比区域指导：在无需训练的视觉语言模型中改善定位

PDF
TL;DR通过对视觉线索进行引导，使用对比区域引导（CRG）方法可以提高视觉 - 语言模型（VLMs）在多种视觉 - 语言任务上的性能，减少模型偏见，提高准确性。
vision-language modelscontrastive region guidancevisual promptsvl tasksmodel biases
发现论文，激发创造
  • 词典级对比性视觉引导改进语言建模

    基于视觉监督的语言学习过程，通过提供词汇信息的早期层表示，兼容多模态的人类语言习得方式，实现了在语言模型中融入视觉基础的潜力。

    Mar, 2024

  • RegionGPT：面向区域理解的视觉语言模型

    区域语言模型 (RegionGPT) 是一种新的框架，通过改进视觉编码器的空间感知能力以及集成任务导向指令提示来实现复杂的区域级标题生成和理解，提高在复杂区域描述、推理、对象分类和引用表达理解等区域级任务上的性能。

    Mar, 2024

  • 语言引导扩散模型用于视觉定位

    通过去噪扩散建模的语言引导扩散框架（LG-DVG）提出了一种逐步推理的视觉定位方法，可持续改进查询 - 区域匹配，在跨模态对齐任务中以生成方式解决视觉定位，并在多个数据集上验证其超凡性能。

    Aug, 2023

  • 细粒度视觉提示

    本文介绍了一种新的零样本学习框架，Fine-Grained Visual Prompting（FGVP），通过使用精确的掩码注释来改进视觉提示设计，并展示了在不同的基准测试上均优于传统方法的性能表现。

    Jun, 2023

  • 在视觉 - 语言模型中实现交互式区域理解

    通过引入具有明确区域建模能力的 RegionVLM 模型，并利用包含区域信息的 Localized Narratives 数据集，我们的实验表明，我们的单一通用模型不仅实现了交互式对话系统，还在各种零样本区域理解任务上展现出了卓越的性能，而不会损害其对全局图像的理解能力。

    Mar, 2024

  • 弱监督词组定位的对比学习

    本文介绍了一种通过优化单词 - 区域关注力最大化互信息的方法来学习短语定位，该方法通过利用经过语言模型引导的单词替换来构建有效的负面标题进行训练，进而实现对 CO-Captions 数据集的短语 grounding，使精度提高了 5.7%。

    Jun, 2020

  • 识别任意区域

    RegionSpot 是一个集成了定位基础模型和 ViL 模型的新颖、通用且高效的区域识别架构，在开放世界物体识别的领域中展现了显著的性能提升和计算节省。

    Nov, 2023

  • GVCCI: 语言引导下的机器人操作视觉理解的终身学习

    本篇论文提出了 GVCCI，一种基于生动地场景生成指引的视觉定位无监督学习框架，该框架通过利用生成的数据持续学习视觉定位模型，并在语言引导机器人操作方面取得了良好的效果。

    Jul, 2023

  • SpatialRGPT：视觉语言模型中的基于场景的空间推理

    通过数据处理和深度信息集成，Spatial Region GPT (SpatialRGPT) 提升了 Vision Language Models (VLMs) 的空间感知和推理能力，并且在空间推理任务中显著提高了性能。

    Jun, 2024

  • GRILL: 基于文本和图像区域对齐的视觉 - 语言预训练

    本文介绍了一种名为 GRILL 的 VL 模型，能够通过利用物体 - 文本对齐来学习对象对齐与定位，从而在零个或很少的训练实例下，推广到各种零 / 几 - shot 任务，包括视觉问答、字幕和定位任务。评估表明，GRILL 模型 consistently surpasses 了现有的几种有限 / 几 - shot 方法。

    May, 2023