ECCVJul, 2024

Freeview Sketching: 视点感知的细粒度基于草图的图像检索

PDF
TL;DR通过对视角选择这一关键但常被忽视的因素进行深入研究，我们发现细粒度草图图像检索（FG-SBIR）的复杂动态。通过使用预训练的 FG-SBIR 模型进行的初步研究表明系统在查询草图与目标实例的视角不同时存在困扰。为了解决这个问题，我们提出了一个视角感知的系统，完美地适应视角无关和视角特异性的任务。通过克服数据集的限制，我们的方法利用了三维对象的多视角二维投影，使得跨模式视觉感知成为可能。通过模式分解引入可定制的跨模式特征，实现了轻松的模式切换。在标准数据集上进行的大量实验证实了我们方法的有效性。
fine-grained sketch-based image retrievalviewpointsketch creationview-specific retrievalcross-modal view awareness
发现论文，激发创造
  • 即兴精细草图检索

    本文通过优化基于细粒度素描的图像检索方法，使用增强学习及跨模态检索框架实现检索效率的提升与最少笔画查询目标图像的目标，是一种有效的搜索框架。

    Feb, 2020

  • 面向细粒度素描图像检索的主动学习

    我们提出了一种新颖的主动学习采样技术，极大地减少了绘制图片素描的需求，通过利用现有照片 - 素描对与没有自己素描的照片之间的关系，并增强这种关系与其中间表示之间的关联，有效平衡不确定性和多样性，在细粒度的基于素描的图像检索任务中，验证了我们的方法并证明其优越性。

    Sep, 2023

  • 更多的照片就是你所需要的：半监督学习用于细粒度 基于草图的图像检索

    本论文研究了基于细粒度手绘图像检索模型中存在的数据稀缺问题，并介绍了一种新型的半监督框架，可以利用大规模未标记的照片来提升模型表现，其中心设计是一个顺序照片到草图生成模型，并引入了鉴别器和蒸馏损失来提高数据的质量。实验证明，新的半监督模型相比现有的监督模型和具有利用未标记的照片的现有方法产生了显著的性能提升。

    Mar, 2021

  • 简单而高效：面向自监督的统一样本特征对齐的局部区域特征匹配

    通过引入双重权重共享网络、对比损失和可学习的自我注意力与交叉注意力相结合，实现了细粒度基于草图的图像检索方法的优化和扩展，并通过专业时尚草图和图像数据集 Cloths-V1 的验证展示了该方法的卓越性能。

    Jun, 2024

  • 针对细粒度素描图像检索的跨模态层次建模

    本文提出一种基于 sketch 的图像检索方法，通过使用跨模态协同和层次结构融合的策略，能够在不同层次的详细程度上匹配 sketch 和照片，并在公共基准测试中取得远超其他方法的性能表现。

    Jul, 2020

  • 自适应细粒度基于草图的图像检索

    提出了一种基于元学习 (MAML) 的框架来实现 Fine-Grained Sketch-Based Image Retrieval (FG-SBIR) 模型的快速适应新类别和绘画风格的问题，通过内循环中基于边缘对比损失的训练和外循环中引入额外的正则化损失，相比常规和零样本方法，可以获得更好的性能和精准度的几个强基线测试结果。

    Jul, 2022

  • 基于多粒度表示学习的基于草图的动态人脸图像检索

    通过多粒度表示学习方法（MGRL），该研究提出一种解决半身轮廓图检索（SLFIR）问题的框架，从而在早期获取方面超过了现有基线模型。

    Dec, 2023

  • Doodle to Search: 实用的零样本基于草图的图像检索

    本文提出了一种新的零样本基于草图的图像检索 (ZS-SBIR) 场景，该场景能够有效解决 ZS-SBIR 实际应用中常见的大领域差异和大规模检索问题，提供了一个全新的 ZS-SBIR 数据集 QuickDraw-Extended，采用了一种新策略来处理领域差异，同时集成了外部语义知识以帮助语义转换，实验表明该模型在现有数据集上表现优异，并提供训练代码和数据集以供未来研究使用。

    Apr, 2019

  • 深度分解反素描技术

    本文针对人类无限制手绘素描建模，尝试将图标式手绘转化为更几何实际的物体轮廓，并分离显著的特征细节，以实现更好的对象匹配，最终提出了一种基于无监督图像风格转移模型的深度 FG-SBIR 模型，通过定量和定性评估，证明了其在风格转移和 FG-SBIR 方面优于现有方法。

    Aug, 2018

  • 基于素描的图像检索零样本框架

    提出基于生成模型的零样本学习用于手绘图像检索的新方法，在经过大量实验验证后，发现这种方法比现有的方法在检索不同类别的图片时性能更好。

    Jul, 2018