ECCVJul, 2018

基于素描的图像检索零样本框架

PDF
TL;DR提出基于生成模型的零样本学习用于手绘图像检索的新方法，在经过大量实验验证后，发现这种方法比现有的方法在检索不同类别的图片时性能更好。
发现论文，激发创造
  • 零样本基于素描的图像检索生成模型

    提出了一种基于概率模型的草图图像检索方法，采用生成模型来生成图像，并使用反向自回归流和反馈机制保证了图像生成的效果，实验结果表明该方法在两个数据集上的表现优于基线方法。

    Apr, 2019

  • 零样本基于草图的图像检索中的语义感知知识保留

    本文提出了一种名为 Semantic-Aware Knowledge prEservation (SAKE) 的方法，在预训练模型的基础上通过 fine-tunes 和利用语义信息来保留图像检索中先前获得的知识，从而在零样本学习的场景下实现更好的性能表现。

    Apr, 2019

  • 基于堆叠对抗网络的零样本素描图像检索

    本论文提出了一种基于生成对抗网络和连体网络的零样本草图图像检索方法，该方法在标准 ZSL 和广义 ZSL 设置下均获得了显著的提高。

    Jan, 2020

  • Doodle to Search: 实用的零样本基于草图的图像检索

    本文提出了一种新的零样本基于草图的图像检索 (ZS-SBIR) 场景，该场景能够有效解决 ZS-SBIR 实际应用中常见的大领域差异和大规模检索问题，提供了一个全新的 ZS-SBIR 数据集 QuickDraw-Extended，采用了一种新策略来处理领域差异，同时集成了外部语义知识以帮助语义转换，实验表明该模型在现有数据集上表现优异，并提供训练代码和数据集以供未来研究使用。

    Apr, 2019

  • 面向零样本基于草图的图像检索的模态感知表示学习

    零样本学习在机器学习模型中提供了一种有效的解决方案，用于处理未见类别，避免了繁琐数据收集。本文提出了一种新颖的框架，通过对比文本间接对齐素描和照片，避免了对素描照片成对样本的需求。通过从数据中学习明确的形态编码，我们的方法将形态不可知的语义与形态特定信息进行了分解，桥接了形态间的差距，并在联合潜空间内实现了有效的跨模态内容检索。通过全面的实验验证了所提出模型在零样本基于素描的图像检索上的有效性，并可应用于广义和细粒度设置。

    Jan, 2024

  • 零样本基于素描的图像检索的语义匹配循环一致性

    这篇论文提出了一个名为 SEM-PCYC 的零样本草图图像检索模型，通过对视觉信息到语义空间的映射进行对抗训练，以达到维护环路一致性的目的，并且使用生成器输出的分类标准确保了可辨别的视觉到语义空间映射。我们还通过特征选择自编码器结合文本和分层侧信息在同一个端到端模型中进行了组合。在 Sketchy 和 TU-Berlin 数据集上，我们的结果显著提高了零样本草图图像检索的性能。

    Mar, 2019

  • 零样图像哈希化

    本文通过建立一个三网络体系结构的零样本手绘图像搜索算法，利用 Kronecker 融合层和图卷积来缓解手绘图像的异构性，并提出一种生成哈希方案来重建语义知识表示，实现了语义哈希，从而在 Sketchy 和 TU-Berlin 两个扩展数据集上取得了显著的性能提升。

    Mar, 2018

  • 零样本基于草图的图像检索的对称双向知识对齐

    该论文提出了一种用于零样本草图图像检索的新型方法，采用了对称双向知识对齐学习框架以实现教师和学生模型之间的知识对齐，通过一对多的聚类跨模态匹配方法来缩小模态差距，实验证明该算法在多个 ZS-SBIR 数据集上表现优越。

    Dec, 2023

  • Transformer 和 CNN 都在 SBIR 上击败了人类

    本文介绍了以往三元组 SBIR 方案存在的问题，提出了建立具有更好翻转等变性的 SBIR 解决方案的多种方法，并深入评估了每种方法的有效性，揭示了视觉 Transformer 对于 SBIR 任务更加适用，性能比卷积神经网络高得多，引入了第一个在大规模 SBIR 基准（Sketchy）上超越人类表现的模型，具体表现为召回率 62.25％，比以前的最先进方法 46.2％高。

    Sep, 2022

  • 零样本基于草图的图像检索的改进与对齐

    本文提出了一种有效的 “适应和对齐” 方法来解决无人监督草图图像检索（ZS-SBIR）中的关键挑战，并通过与更语义化的文本嵌入相对齐实现了从已见类到未见类的知识转移。

    May, 2023