CVPRMar, 2024

你将永不独行：细粒度图像检索的草图与文本二重奏

PDF
TL;DR这篇论文提出了通过合成模型和文本来改进细粒度图像检索的方法，创新性地将素描和文本结合起来，从而实现了以往无法实现的精确检索，同时提供了解决各种实际场景的解决方案。
发现论文，激发创造
  • 草图胜千言：带文本和草图的图像检索

    本文介绍了一个基于文本及草图的图像检索模型，该模型称为 “TASK-former”，并采用了类似于 CLIP 的融合编码器的方法，众多实验表明，使用草图可以明显提高图像检索的召回率。

    Aug, 2022

  • 针对细粒度素描图像检索的跨模态层次建模

    本文提出一种基于 sketch 的图像检索方法，通过使用跨模态协同和层次结构融合的策略，能够在不同层次的详细程度上匹配 sketch 和照片，并在公共基准测试中取得远超其他方法的性能表现。

    Jul, 2020

  • 使用文本和草图学习跨模态深度嵌入进行多对象图像检索

    本文介绍了一种跨模态图像检索系统，允许文本和草图作为查询的输入模态。使用跨模态深度网络架构共同建模草图和文本输入模态以及图像输出模态，通过学习文本和图像之间以及草图和图像之间的共同嵌入，使用注意力模型有选择性地关注图像的不同对象，可以实现多对象检索。实验结果表明，所提出的方法在标准数据集中实现了最佳的单对象和多对象图像检索

    Apr, 2018

  • 即兴精细草图检索

    本文通过优化基于细粒度素描的图像检索方法，使用增强学习及跨模态检索框架实现检索效率的提升与最少笔画查询目标图像的目标，是一种有效的搜索框架。

    Feb, 2020

  • 更多的照片就是你所需要的：半监督学习用于细粒度 基于草图的图像检索

    本论文研究了基于细粒度手绘图像检索模型中存在的数据稀缺问题，并介绍了一种新型的半监督框架，可以利用大规模未标记的照片来提升模型表现，其中心设计是一个顺序照片到草图生成模型，并引入了鉴别器和蒸馏损失来提高数据的质量。实验证明，新的半监督模型相比现有的监督模型和具有利用未标记的照片的现有方法产生了显著的性能提升。

    Mar, 2021

  • 图像检索中的文本与图像构成 - 实证之旅

    本文提出了一种基于图像和文本相结合的检索方法，利用相似度度量、嵌入式学习以及组合函数对目标图像进行了描述，并在三种不同数据集上进行了验证，证明了该方法在输入查询分类和图像检索方面的有效性。

    Dec, 2018

  • 结合视觉和局部池化文本特征的细粒度图像分类和检索

    本文提供了一种新颖的模型，使用 PHOC 描述符构建一组文本词袋以及 Fisher 向量编码，以处理文本与视觉数据之间的内在关系，从而在图像细分类和图像检索任务中获得最先进的结果。

    Jan, 2020

  • 基于场景文本的细粒度图像分类与检索的多模态推理图

    本文采用图卷积网络结合场景文本实例和显著图像区域进行多模态推理，在 Con-Text 和 Drink Bottle 数据集中，在细粒度图像分类和图像检索任务中显著优于之前的最新技术。

    Sep, 2020

  • CustomSketching：基于草图概念提取的草图图像合成和编辑

    使用个性化技术的大型文本到图像（T2I）模型允许用户从参考图像中融入新概念。本文旨在通过探索一种新颖的任务，即草图概念提取，通过两阶段框架 CustomSketching 实现草图概念的提取，以实现基于草图的图像合成和编辑。

    Feb, 2024

  • 基于结构感知扩散模型的素描参考图像合成

    提出了一种基于多输入用户素描图的图像合成模型，可以使用户编辑或完整地生成所需的具有结构和内容的图像，通过实验证明了该模型能够在图像合成和编辑方面提供独特的用例。

    Mar, 2023