May, 2024

RTGen：为开放词汇物体检测生成区域文本对

PDF
TL;DR通过生成可扩展的开放词汇区域 - 文本对，RTGen 能够提高开放词汇物体检测的性能，其中文本到区域的生成是通过图像修复以及布局引导来实现的，区域到文本的生成则是通过基于多个提示进行区域级别图像字幕并根据 CLIP 相似性选择最佳匹配文本完成的，并且引入了适应不同定位质量的定位感知区域 - 文本对比损失用于侦测训练。大量实验证明 RTGen 作为可扩展、语义丰富和高效的来源，能够在利用更多数据时持续提高模型性能，并且相较于现有最优方法能够提供卓越性能。
发现论文，激发创造
  • 区域感知预训练与视觉 Transformer 实现开放式目标检测

    提出了一种区域感知的开放词汇视觉 Transformer（RO-ViT）预训练方法，其中使用区域级别的位置嵌入来代替整个图像位置嵌入，取得了在 LVIS 和 COCO 开放词汇检测基准测试的最佳效果。

    May, 2023

  • 用于开放式物体检测的生成式区域语言预训练

    生成式开放式物体检测是一种更通用、实用的问题，本论文提出了一个名为 GenerateU 的简单框架，将物体检测作为一个生成问题，可以以自由形式检测密集物体并生成它们的名称，通过广泛的实验验证了 GenerateU 的强大的零样本检测性能。

    Mar, 2024

  • DetCLIPv2: 通过词区对齐实现可伸缩的开放式目标检测预训练

    本文介绍了一种名为 DetCLIPv2 的训练框架，该框架采用大规模图像 - 文本对以实现开放词汇目标检测。DetCLIPv2 直接从海量图像 - 文本对中学习了细粒度的单词 - 区域对齐，并通过融合来自检测、定位和图像 - 文本对数据的混合监督进行训练。DetCLIPv2 采用交替方案和低分辨率输入有效地利用了图像 - 文本对数据，取得了超过之前工作的表现。

    Apr, 2023

  • RegionGPT：面向区域理解的视觉语言模型

    区域语言模型 (RegionGPT) 是一种新的框架，通过改进视觉编码器的空间感知能力以及集成任务导向指令提示来实现复杂的区域级标题生成和理解，提高在复杂区域描述、推理、对象分类和引用表达理解等区域级任务上的性能。

    Mar, 2024

  • RegionCLIP: 基于区域的语言 - 图像预训练

    RegionCLIP 是一种新的方法，扩展了 CLIP 模型的范围，使其可以学习区域级别的视觉表征，从而实现图像区域和文本概念之间的细粒度对齐，进而在目标检测领域表现出良好的性能。

    Dec, 2021

  • R&B：区域和边界感知的零样本基于文本生成图像

    这篇论文研究了利用扩散模型进行零样本生成的文本到图像转换方法，提出了一种基于区域和边界感知的交叉注意力引导方法，通过渐进调节扩散模型的注意力图来生成与输入布局信息相对应的高保真度、与文本输入高度兼容、准确解释布局指令的图像。实验证明，该方法在多个基准测试上在质量和数量上均优于现有的零样本生成方法。

    Oct, 2023

  • 通过可学习区域实现基于文本的图像编辑

    这篇论文介绍了一种基于文本提示的区域图像编辑方法，无需用户提供的掩码或草图，通过利用现有的预训练文本到图像模型和引入边界框生成器来找到与文本提示对齐的编辑区域，实现了与当前图像生成模型兼容的灵活的编辑，并处理了包含多个对象、复杂句子或长段落的复杂提示。通过广泛的用户研究实验证明我们方法在操纵图像时与提供的语言描述相一致，具有高保真度和逼真度的竞争性表现。

    Nov, 2023

  • CoDet：开放词汇目标检测的共现导向区域 - 词对齐

    利用共现对象发现的方法，CoDet 克服了对预对齐视觉 - 语言空间依赖的限制，通过图像标题中提及共享概念的图像分组，发现并与共享概念对齐共现对象，从而实现了对象级别的视觉 - 语言表示，具有卓越的性能和可扩展性。

    Oct, 2023

  • 开放词汇目标检测的学习目标语言对齐

    提出了一种使用自然语言监督学习从配对的图像文本数据中直接学习的新型开放词汇目标检测框架，通过将对象 - 语言对齐形式化为一个图像区域特征集合和一个词向量集合之间的集合匹配问题，可以更简单和有效地在图像 - 文本对上训练开放词汇对象探测器，并在两个基准数据集上进行了广泛的实验，在 LVIS 等新类别上实现了 32.0％的 mAP 和 21.7％的掩膜 mAP 等卓越性能。

    Nov, 2022

  • 循环主题转移 GAN 用于视觉段落生成

    本文提出了一种半监督的自然图像描述方法 ——RTT-GAN，利用区域感知和语言机制生成连贯的段落描述，并通过对抗训练达到建立结构性生成器和多层段落判别器之间的生成并评估技术。

    Mar, 2017