基于草图的图像检索的双模态提示
本文提出了将 CLIP 和 prompt learning 应用于 sketch-based image retrieval (ZS-SBIR) 中,通过专门设计的 prompt 学习机制,在分类和精细匹配两个方面都获得了比之前最先进的方法更出色的表现。
Mar, 2023
零样本学习在机器学习模型中提供了一种有效的解决方案,用于处理未见类别,避免了繁琐数据收集。本文提出了一种新颖的框架,通过对比文本间接对齐素描和照片,避免了对素描照片成对样本的需求。通过从数据中学习明确的形态编码,我们的方法将形态不可知的语义与形态特定信息进行了分解,桥接了形态间的差距,并在联合潜空间内实现了有效的跨模态内容检索。通过全面的实验验证了所提出模型在零样本基于素描的图像检索上的有效性,并可应用于广义和细粒度设置。
Jan, 2024
该论文提出了一种用于零样本草图图像检索的新型方法,采用了对称双向知识对齐学习框架以实现教师和学生模型之间的知识对齐,通过一对多的聚类跨模态匹配方法来缩小模态差距,实验证明该算法在多个 ZS-SBIR 数据集上表现优越。
Dec, 2023
本文提出了一种有效的 “适应和对齐” 方法来解决无人监督草图图像检索(ZS-SBIR)中的关键挑战,并通过与更语义化的文本嵌入相对齐实现了从已见类到未见类的知识转移。
May, 2023
提出了一种名为 DialCLIP 的参数高效的提示调整方法,用于多模态对话检索,通过仅调整总参数的 0.04%实现了在两个广泛认可的基准数据集上的最新性能,突出了该方法的功效和效率,强调其推动多模态对话检索领域发展的潜力。
Jan, 2024
本文提出了一种新的零样本基于草图的图像检索 (ZS-SBIR) 场景,该场景能够有效解决 ZS-SBIR 实际应用中常见的大领域差异和大规模检索问题,提供了一个全新的 ZS-SBIR 数据集 QuickDraw-Extended,采用了一种新策略来处理领域差异,同时集成了外部语义知识以帮助语义转换,实验表明该模型在现有数据集上表现优异,并提供训练代码和数据集以供未来研究使用。
Apr, 2019
本文提出了一种名为 Semantic-Aware Knowledge prEservation (SAKE) 的方法,在预训练模型的基础上通过 fine-tunes 和利用语义信息来保留图像检索中先前获得的知识,从而在零样本学习的场景下实现更好的性能表现。
Apr, 2019
该研究提出了一种基于领域平滑网络 (DSN) 的零样本图形检索 (ZS-SBIR) 方法,该方法通过使用跨模态对比方法挖掘增强样本的关系以平滑领域差距,并在草图领域中探索类别特定的记忆库来减少草图的内类别差异。实验结果表明,该方法在 Sketchy 和 TU-Berlin 数据集中表现出色。
Jun, 2021
本论文提出了一种检索增强的提示学习方法(RePrompt),通过引入检索机制来对下游任务进行知识表示的缓存,该方法在 15 个视觉数据集上进行了广泛实验,包括 11 个在少样本设置下的下游任务和 4 个域泛化基准,在处理领域差异增加时取得了明显的改进。
Jun, 2023