提出基于生成模型的零样本学习用于手绘图像检索的新方法,在经过大量实验验证后,发现这种方法比现有的方法在检索不同类别的图片时性能更好。
Jul, 2018
本篇研究论文提出了一个用于类别级别自由手绘图像检索的端到端深度体系结构 Deep Sketch Hashing(DSH),其中使用了卷积神经网络来编码自由手绘图、自然图像和辅助的草图令牌,以缓解草图 - 图像几何形变,并有效地捕获不同类别之间的内在语义相关性,实验结果表明 DSH 的检索时间和内存消耗显着降低,检索准确性较之前的方法更优。
Mar, 2017
本论文研究了基于细粒度手绘图像检索模型中存在的数据稀缺问题,并介绍了一种新型的半监督框架,可以利用大规模未标记的照片来提升模型表现,其中心设计是一个顺序照片到草图生成模型,并引入了鉴别器和蒸馏损失来提高数据的质量。实验证明,新的半监督模型相比现有的监督模型和具有利用未标记的照片的现有方法产生了显著的性能提升。
Mar, 2021
本文通过优化基于细粒度素描的图像检索方法,使用增强学习及跨模态检索框架实现检索效率的提升与最少笔画查询目标图像的目标,是一种有效的搜索框架。
Feb, 2020
提出了一种基于概率模型的草图图像检索方法,采用生成模型来生成图像,并使用反向自回归流和反馈机制保证了图像生成的效果,实验结果表明该方法在两个数据集上的表现优于基线方法。
Apr, 2019
我们提出了一种新颖的主动学习采样技术,极大地减少了绘制图片素描的需求,通过利用现有照片 - 素描对与没有自己素描的照片之间的关系,并增强这种关系与其中间表示之间的关联,有效平衡不确定性和多样性,在细粒度的基于素描的图像检索任务中,验证了我们的方法并证明其优越性。
Sep, 2023
本文提出了一种名为 Semantic-Aware Knowledge prEservation (SAKE) 的方法,在预训练模型的基础上通过 fine-tunes 和利用语义信息来保留图像检索中先前获得的知识,从而在零样本学习的场景下实现更好的性能表现。
提出了一种基于元学习 (MAML) 的框架来实现 Fine-Grained Sketch-Based Image Retrieval (FG-SBIR) 模型的快速适应新类别和绘画风格的问题,通过内循环中基于边缘对比损失的训练和外循环中引入额外的正则化损失,相比常规和零样本方法,可以获得更好的性能和精准度的几个强基线测试结果。
Jul, 2022
本文介绍了以往三元组 SBIR 方案存在的问题,提出了建立具有更好翻转等变性的 SBIR 解决方案的多种方法,并深入评估了每种方法的有效性,揭示了视觉 Transformer 对于 SBIR 任务更加适用,性能比卷积神经网络高得多,引入了第一个在大规模 SBIR 基准(Sketchy)上超越人类表现的模型,具体表现为召回率 62.25%,比以前的最先进方法 46.2%高。
Sep, 2022
本文提出了一种新的零样本基于草图的图像检索 (ZS-SBIR) 场景,该场景能够有效解决 ZS-SBIR 实际应用中常见的大领域差异和大规模检索问题,提供了一个全新的 ZS-SBIR 数据集 QuickDraw-Extended,采用了一种新策略来处理领域差异,同时集成了外部语义知识以帮助语义转换,实验表明该模型在现有数据集上表现优异,并提供训练代码和数据集以供未来研究使用。