STIR: 用于图像检索后处理的孪生 Transformer

Apr, 2023

STIR: 用于图像检索后处理的孪生 Transformer

STIR: Siamese Transformer for Image Retrieval Postprocessing

Aleksei Shabanov, Aleksei Tarasov, Sergey Nikolenko

TL;DR该研究提出了一种基于三元损失的简化模型和一种用于图像检索的新方法 STIR，它采用注意力机制在像素级别上直接比较查询图像和候选图像，不需要全局 / 局部特征提取，能够在标准图像检索数据集上定义新的技术状态。

Abstract

Current metric learning approaches for image retrieval are usually based on learning a space of informative latent representations where simple approaches such as the cosine distance will work well. Recent state

metric learning image retrieval triplet loss siamese transformer attention mechanism

发现论文，激发创造

训练视觉 Transformer 进行图像检索

本文提出一种基于变换器的图像检索方法，通过采用视觉变换器生成图像描述符并使用度量学习目标进行训练，结合对比损失和微分熵正则化，相比于卷积方法，提高了图像检索性能，特别是对于短向量表示和低分辨率图像。

Feb, 2021

使用重新排序变换器进行实例级别图像检索

本文提出了一种新的模型 Reranking Transformers (RRTs)，它可以在有监督的环境下整合全局和局部特征，以重排匹配的图像，从而替代代价较高的基于几何验证的过程。经实验表明，该模型的性能优于以前的重排序方法，且使用更少的本地描述符达到更好的结果。

Mar, 2021

Transformer 和 CNN 都在 SBIR 上击败了人类

本文介绍了以往三元组 SBIR 方案存在的问题，提出了建立具有更好翻转等变性的 SBIR 解决方案的多种方法，并深入评估了每种方法的有效性，揭示了视觉 Transformer 对于 SBIR 任务更加适用，性能比卷积神经网络高得多，引入了第一个在大规模 SBIR 基准（Sketchy）上超越人类表现的模型，具体表现为召回率 62.25％，比以前的最先进方法 46.2％高。

Sep, 2022

SiRi: 一个用于基于 Transformer 的视觉定位的简单选择性微调机制

本文研究如何使用现代视觉语言转换器实现更好的视觉定位，并提出一种简单而强大的选择性重新训练（SiRi）机制。使用 SiRi 可以显着优于以前的方法，在三个受欢迎的基准测试中表现出更好的性能，即使在有限的训练数据下也表现出惊人的优越性。同时，我们也将它扩展到基于 transformer 的视觉定位模型和其他视觉语言任务中以验证其有效性。

Jul, 2022

热红外物体跟踪的深度多层相似度学习

本研究提出一种多层相似性模型来提高红外物体跟踪的辨别能力，其中利用了卷积层计算 TIR 对象的全局语义相似度和本地结构相似度，通过一种相对熵的集成子网络进行集成，并构建了大规模 TIR 视频序列数据集以优化算法效果。

Jun, 2019

基于层次空间感知的热红外目标暗示网络

本文提出了一种热红外跟踪器，命名为 HSSNet，它使用层次空间感知 Siamese 卷积神经网络来验证相似性并生成更强的可辨别能力，与其他方法相比，在 VOT-TIR 2015 和 VOT-TIR 2016 基准测试上取得了较好的性能表现。

Nov, 2017

图像检索的深度视觉表示端到端学习

本文针对深度学习在实例级图像检索方面表现不佳的问题，提出了基于大规模嘈杂地标数据集的清洗方法、改进的 R-MAC 描述符、基于三元组损失的孪生网络，并在 Oxford 5k、Paris 6k 和 Holidays 数据集上，分别报告了 94.7，96.6 和 94.8 的平均精度，并通过产品量化处理可以实现图像表示的高度压缩。

Oct, 2016

高效 SBIR 模型的配方：将相对三元组损失与批量归一化和知识蒸馏相结合

本研究从多个角度探讨了手绘图像检索领域中存在的问题，并通过提出 Relative Triplet Loss、使用 batch normalization、调整模型容量和知识蒸馏等方法，实现了优化模型并提升了图像检索的表现。

May, 2023

Transformer 中共享关键语义的高效图像修复

通过使用由专门构造的稀疏但全面的关键语义词典优化的自注意力机制，该文提出了一种增强图像恢复性能的新方法：SemanIR。通过在同一阶段内共享关键语义词典，该方法能够实现每个窗口内的线性计算复杂度，并通过实验证明了其在六个图像恢复任务中的卓越性能。

May, 2024

使用视觉 Transformer 进行细粒度的图片风格转换

本文提出了一种新颖的 STTR 网络，采用视觉令牌将内容和样式映射到细粒度的特征空间，采用自注意力机制和交叉注意力机制实现微观的样式转换，在人造数据集的评估中取得了较高的效果。

Oct, 2022