CVPRNov, 2016

基于 Sketch 的视觉搜索中三元组卷积神经网络的泛化和共享

PDF
TL;DR本研究提出和评估了几种三元 CNN 结构，用于在素描和照片之间测量相似度，重点研究网络在有限的训练数据下的分类能力，探究了权值共享、预处理、数据增强和降维等策略，并在 250 个 TU-Berlin 分类数据集上进行训练，结合从互联网上采集的 25,000 张对应照片，相较于现有技术在 Flickr15k 和 TU-Berlin SBIR 基准上分别提升了 18% 和 10 个标准差。
triplet cnn architecturessketch-based image retrievalgeneralizationdata augmentationperformance optimization
发现论文，激发创造
  • Transformer 和 CNN 都在 SBIR 上击败了人类

    本文介绍了以往三元组 SBIR 方案存在的问题，提出了建立具有更好翻转等变性的 SBIR 解决方案的多种方法，并深入评估了每种方法的有效性，揭示了视觉 Transformer 对于 SBIR 任务更加适用，性能比卷积神经网络高得多，引入了第一个在大规模 SBIR 基准（Sketchy）上超越人类表现的模型，具体表现为召回率 62.25％，比以前的最先进方法 46.2％高。

    Sep, 2022

  • 高效 SBIR 模型的配方：将相对三元组损失与批量归一化和知识蒸馏相结合

    本研究从多个角度探讨了手绘图像检索领域中存在的问题，并通过提出 Relative Triplet Loss、使用 batch normalization、调整模型容量和知识蒸馏等方法，实现了优化模型并提升了图像检索的表现。

    May, 2023

  • 利用未标记的照片提高细粒度的 SBIR

    本文提出了一种先进的细粒度基于草图的图像检索方法，通过两个关键问题的解决方案实现了超过之前最新方法约 11％的提高：在感知空间几何方面充分强制执行标准三元组损失及使用预先训练的教师和知识蒸馏技术来充分利用图像数据。

    Mar, 2023

  • 基于素描的图像检索零样本框架

    提出基于生成模型的零样本学习用于手绘图像检索的新方法，在经过大量实验验证后，发现这种方法比现有的方法在检索不同类别的图片时性能更好。

    Jul, 2018

  • 深度素描哈希：快速自由手绘图像检索

    本篇研究论文提出了一个用于类别级别自由手绘图像检索的端到端深度体系结构 Deep Sketch Hashing（DSH），其中使用了卷积神经网络来编码自由手绘图、自然图像和辅助的草图令牌，以缓解草图 - 图像几何形变，并有效地捕获不同类别之间的内在语义相关性，实验结果表明 DSH 的检索时间和内存消耗显着降低，检索准确性较之前的方法更优。

    Mar, 2017

  • 零样本基于素描的图像检索生成模型

    提出了一种基于概率模型的草图图像检索方法，采用生成模型来生成图像，并使用反向自回归流和反馈机制保证了图像生成的效果，实验结果表明该方法在两个数据集上的表现优于基线方法。

    Apr, 2019

  • 基于堆叠对抗网络的零样本素描图像检索

    本论文提出了一种基于生成对抗网络和连体网络的零样本草图图像检索方法，该方法在标准 ZSL 和广义 ZSL 设置下均获得了显著的提高。

    Jan, 2020

  • 零样本基于草图的图像检索中的语义感知知识保留

    本文提出了一种名为 Semantic-Aware Knowledge prEservation (SAKE) 的方法，在预训练模型的基础上通过 fine-tunes 和利用语义信息来保留图像检索中先前获得的知识，从而在零样本学习的场景下实现更好的性能表现。

    Apr, 2019

  • 零样图像哈希化

    本文通过建立一个三网络体系结构的零样本手绘图像搜索算法，利用 Kronecker 融合层和图卷积来缓解手绘图像的异构性，并提出一种生成哈希方案来重建语义知识表示，实现了语义哈希，从而在 Sketchy 和 TU-Berlin 两个扩展数据集上取得了显著的性能提升。

    Mar, 2018

  • 简单而高效：面向自监督的统一样本特征对齐的局部区域特征匹配

    通过引入双重权重共享网络、对比损失和可学习的自我注意力与交叉注意力相结合，实现了细粒度基于草图的图像检索方法的优化和扩展，并通过专业时尚草图和图像数据集 Cloths-V1 的验证展示了该方法的卓越性能。

    Jun, 2024