Feb, 2024

基于多层级和注意力引导的零样本基于草图的遥感图像检索

PDF
TL;DR利用多级注意力引导的标记化方法，我们的研究在跨模态遥感图像检索中展示了卓越的检索准确性，并具有强大的零样本学习能力和泛化能力，在处理未见过的类别和新的遥感数据时表现出强大的普适性。
remote sensingsketch-based retrievalmulti-level feature integrationzero-shot learningattention-guided tokenization
发现论文，激发创造
  • 如何在基于草图的图像检索中处理草图抽象化？

    我们提出了一种新颖的抽象感知的基于草图的图像检索框架，能够处理不同级别的草图抽象。通过学习抽象感知特征和粒度级别的抽象理解，我们的方法在标准的草图 - 图像检索任务以及早期检索、法医草图 - 照片匹配和风格不变检索等具有挑战性的场景中表现出色。

    Mar, 2024

  • Doodle to Search: 实用的零样本基于草图的图像检索

    本文提出了一种新的零样本基于草图的图像检索 (ZS-SBIR) 场景，该场景能够有效解决 ZS-SBIR 实际应用中常见的大领域差异和大规模检索问题，提供了一个全新的 ZS-SBIR 数据集 QuickDraw-Extended，采用了一种新策略来处理领域差异，同时集成了外部语义知识以帮助语义转换，实验表明该模型在现有数据集上表现优异，并提供训练代码和数据集以供未来研究使用。

    Apr, 2019

  • 面向零样本基于草图的图像检索的模态感知表示学习

    零样本学习在机器学习模型中提供了一种有效的解决方案，用于处理未见类别，避免了繁琐数据收集。本文提出了一种新颖的框架，通过对比文本间接对齐素描和照片，避免了对素描照片成对样本的需求。通过从数据中学习明确的形态编码，我们的方法将形态不可知的语义与形态特定信息进行了分解，桥接了形态间的差距，并在联合潜空间内实现了有效的跨模态内容检索。通过全面的实验验证了所提出模型在零样本基于素描的图像检索上的有效性，并可应用于广义和细粒度设置。

    Jan, 2024

  • 用辅助文本描述的跨模态注意力对齐网络用于零样本基于素描的图像检索

    本文研究零样本基于手绘图像检索（ZS-SBIR）问题，利用大规模预训练语言模型为图像提供辅助文本描述，通过交叉注意力机制在文本 - 手绘图像和文本 - 真实图像之间进行特征交换和对齐，实现零样本泛化能力，实验结果显示在三个基准数据集上，相比现有的 ZS-SBIR 方法，我们具有卓越的性能。

    Jul, 2024

  • 基于对比学习的多层交叉模态特征对齐，用于遥感图像场景的零样本分类

    本文提出了一种通过对比学习进行多层次交叉模态特征对齐的方法，以用于遥感图像场景的零样本分类，实验结果表明该方法优于目前现有的零样本遥感图像场景分类方法。

    May, 2023

  • 零样本全域面向素描图像检索，并具有可解释性

    本文研究了零短距离素描图像检索（ZS-SBIR）问题，并提出了一种基于 transformer 的跨模态网络，包括可学习 tokenizer 的自我关注模块，计算视觉 tokens 之间的交叉关注模块，以及基于核的相关网络，通过对组之间的比较，实现了优秀的性能，同时通过可视化 tokens 实现了解释性。

    Mar, 2023

  • 零样本基于草图的图像检索中的语义感知知识保留

    本文提出了一种名为 Semantic-Aware Knowledge prEservation (SAKE) 的方法，在预训练模型的基础上通过 fine-tunes 和利用语义信息来保留图像检索中先前获得的知识，从而在零样本学习的场景下实现更好的性能表现。

    Apr, 2019

  • 针对细粒度素描图像检索的跨模态层次建模

    本文提出一种基于 sketch 的图像检索方法，通过使用跨模态协同和层次结构融合的策略，能够在不同层次的详细程度上匹配 sketch 和照片，并在公共基准测试中取得远超其他方法的性能表现。

    Jul, 2020

  • 知识增强的双流零样本合成图像检索

    我们研究了零样本组合图像检索任务，提出了一种知识增强的双流零样本组合图像检索框架（KEDs），该框架通过数据库丰富了伪词令牌，并采用额外的流来对伪词令牌与文本概念进行对齐，从而在细粒度语义中显式地识别出参考图像。大量实验证明，KEDs 优于之前的零样本组合图像检索方法。

    Mar, 2024

  • 零样本基于草图的图像检索的改进与对齐

    本文提出了一种有效的 “适应和对齐” 方法来解决无人监督草图图像检索（ZS-SBIR）中的关键挑战，并通过与更语义化的文本嵌入相对齐实现了从已见类到未见类的知识转移。

    May, 2023