CVPRMar, 2021

更多的照片就是你所需要的：半监督学习用于细粒度 基于草图的图像检索

PDF
TL;DR本论文研究了基于细粒度手绘图像检索模型中存在的数据稀缺问题，并介绍了一种新型的半监督框架，可以利用大规模未标记的照片来提升模型表现，其中心设计是一个顺序照片到草图生成模型，并引入了鉴别器和蒸馏损失来提高数据的质量。实验证明，新的半监督模型相比现有的监督模型和具有利用未标记的照片的现有方法产生了显著的性能提升。
fine-grained sketch-based image retrievaldata scarcitysemi-supervised frameworkphoto-to-sketch generation modelcross-modal retrieval
发现论文，激发创造
  • 利用未标记的照片提高细粒度的 SBIR

    本文提出了一种先进的细粒度基于草图的图像检索方法，通过两个关键问题的解决方案实现了超过之前最新方法约 11％的提高：在感知空间几何方面充分强制执行标准三元组损失及使用预先训练的教师和知识蒸馏技术来充分利用图像数据。

    Mar, 2023

  • 即兴精细草图检索

    本文通过优化基于细粒度素描的图像检索方法，使用增强学习及跨模态检索框架实现检索效率的提升与最少笔画查询目标图像的目标，是一种有效的搜索框架。

    Feb, 2020

  • 面向细粒度素描图像检索的主动学习

    我们提出了一种新颖的主动学习采样技术，极大地减少了绘制图片素描的需求，通过利用现有照片 - 素描对与没有自己素描的照片之间的关系，并增强这种关系与其中间表示之间的关联，有效平衡不确定性和多样性，在细粒度的基于素描的图像检索任务中，验证了我们的方法并证明其优越性。

    Sep, 2023

  • 零样本基于素描的图像检索生成模型

    提出了一种基于概率模型的草图图像检索方法，采用生成模型来生成图像，并使用反向自回归流和反馈机制保证了图像生成的效果，实验结果表明该方法在两个数据集上的表现优于基线方法。

    Apr, 2019

  • 自适应细粒度基于草图的图像检索

    提出了一种基于元学习 (MAML) 的框架来实现 Fine-Grained Sketch-Based Image Retrieval (FG-SBIR) 模型的快速适应新类别和绘画风格的问题，通过内循环中基于边缘对比损失的训练和外循环中引入额外的正则化损失，相比常规和零样本方法，可以获得更好的性能和精准度的几个强基线测试结果。

    Jul, 2022

  • Freeview Sketching: 视点感知的细粒度基于草图的图像检索

    通过对视角选择这一关键但常被忽视的因素进行深入研究，我们发现细粒度草图图像检索（FG-SBIR）的复杂动态。通过使用预训练的 FG-SBIR 模型进行的初步研究表明系统在查询草图与目标实例的视角不同时存在困扰。为了解决这个问题，我们提出了一个视角感知的系统，完美地适应视角无关和视角特异性的任务。通过克服数据集的限制，我们的方法利用了三维对象的多视角二维投影，使得跨模式视觉感知成为可能。通过模式分解引入可定制的跨模式特征，实现了轻松的模式切换。在标准数据集上进行的大量实验证实了我们方法的有效性。

    Jul, 2024

  • 针对细粒度素描图像检索的跨模态层次建模

    本文提出一种基于 sketch 的图像检索方法，通过使用跨模态协同和层次结构融合的策略，能够在不同层次的详细程度上匹配 sketch 和照片，并在公共基准测试中取得远超其他方法的性能表现。

    Jul, 2020

  • 简单而高效：面向自监督的统一样本特征对齐的局部区域特征匹配

    通过引入双重权重共享网络、对比损失和可学习的自我注意力与交叉注意力相结合，实现了细粒度基于草图的图像检索方法的优化和扩展，并通过专业时尚草图和图像数据集 Cloths-V1 的验证展示了该方法的卓越性能。

    Jun, 2024

  • 基于素描的图像检索零样本框架

    提出基于生成模型的零样本学习用于手绘图像检索的新方法，在经过大量实验验证后，发现这种方法比现有的方法在检索不同类别的图片时性能更好。

    Jul, 2018

  • 面向零样本基于草图的图像检索的模态感知表示学习

    零样本学习在机器学习模型中提供了一种有效的解决方案，用于处理未见类别，避免了繁琐数据收集。本文提出了一种新颖的框架，通过对比文本间接对齐素描和照片，避免了对素描照片成对样本的需求。通过从数据中学习明确的形态编码，我们的方法将形态不可知的语义与形态特定信息进行了分解，桥接了形态间的差距，并在联合潜空间内实现了有效的跨模态内容检索。通过全面的实验验证了所提出模型在零样本基于素描的图像检索上的有效性，并可应用于广义和细粒度设置。

    Jan, 2024