使用重新排序变换器进行实例级别图像检索

ICCVMar, 2021

使用重新排序变换器进行实例级别图像检索

Instance-level Image Retrieval using Reranking Transformers

Fuwen Tan, Jiangbo Yuan, Vicente Ordonez

TL;DR本文提出了一种新的模型 Reranking Transformers (RRTs)，它可以在有监督的环境下整合全局和局部特征，以重排匹配的图像，从而替代代价较高的基于几何验证的过程。经实验表明，该模型的性能优于以前的重排序方法，且使用更少的本地描述符达到更好的结果。

Abstract

instance-level image retrieval is the task of searching in a large database for images that match an object in a query image. To address this task, systems usually rely on a retrieval step that uses global image descriptors, and a subsequent step that performs domain-specific refinemen

instance-level image retrieval reranking transformers global features local features supervised fashion

发现论文，激发创造

训练视觉 Transformer 进行图像检索

本文提出一种基于变换器的图像检索方法，通过采用视觉变换器生成图像描述符并使用度量学习目标进行训练，结合对比损失和微分熵正则化，相比于卷积方法，提高了图像检索性能，特别是对于短向量表示和低分辨率图像。

Feb, 2021

TReR：用于 3D LiDAR 地方识别的轻量级 Transformer 重新排序方法

采用 Transformer-based re-ranking 方法，以全局描述为确定因素，实现了轻量化和有效的 Loop Closure Detection，与另外两种方法相比，在 KITTI Odometry 数据集上表现出更好的鲁棒性和效率。

May, 2023

STIR: 用于图像检索后处理的孪生 Transformer

该研究提出了一种基于三元损失的简化模型和一种用于图像检索的新方法 STIR，它采用注意力机制在像素级别上直接比较查询图像和候选图像，不需要全局 / 局部特征提取，能够在标准图像检索数据集上定义新的技术状态。

Apr, 2023

R²Former: 基于 Transformer 的统一检索与重排序模型在地点识别中的应用

本研究提出了一个统一的地点识别框架，使用名为 R^2Former 的新型 Transformer 模型，该模型处理检索和重新排序，通过特征相关性，注意力值和 xy 坐标进行重新排名，实验结果表明其具有卓越的性能和较低的内存消耗。

Apr, 2023

一个重新参数化的视觉变换器（ReVT）用于领域通用的语义分割

基于数据增强驱动的方法，使用重新参数化的视觉 Transformer（ReVT）和多模型训练后的权重平均化，实现语义分割的域通用化，在多个基准数据集上实现了 47.3％（之前的技术：46.3％）的小型模型和 50.1％（之前的技术：47.8％）的中型模型的最新 mIoU 性能，同时需要更少的参数，并且帧速率更高，与最佳之前的技术相比，易于实施，而且在推断期间不会增加任何计算复杂度。

Aug, 2023

用于语义对应的循环变压器网络

本文提出了利用循环变压器网络（RTNs）对语义相似图像进行密集对应的方法，在迭代过程中估计图像间的空间变换，以及使用这些变换来生成对齐的卷积激活，通过直接估算两幅图像间的变换，而非独立正则化每个图像，我们证明了更高的精度可以得到，同时使用一种基于提出的分类损失的弱监督训练技术。利用 RTNs，在语义对应的多个基准测试中，实现了最先进的性能。

Oct, 2018

RMT：记忆网络与视觉转换器的结合

我们结合了 RetNet 和 Transformer 提出了 RMT，通过引入显式衰减和空间先验知识的方式，使得 RMT 在计算机视觉任务中表现出卓越的性能。

Sep, 2023

搜索和检索增强生成的列表感知重排序 - 截断联合模型

我们提出了一个联合模型（GenRT），通过生成式编码 - 解码结构将重新排序和截断这两个任务同时进行，从而解决了信息检索中重新排序和截断任务之间的问题。实验证明，我们的方法在网络搜索和检索增强的大语言模型上的重新排序和截断任务均达到了最佳表现。

Feb, 2024

全球特征对于图像检索和重排是必需的

通过利用全局特征实现精确且轻量级的图像检索，本研究提出了一种名为 SuperGlobal 的图像检索范式，通过精细的再排序阶段来提高性能，并在标准基准测试中取得了显著的改进。

Aug, 2023

FMRT：学习准确特征匹配的调和变换器

本研究提出了一种名为 Feature Matching with Reconciliatory Transformer（FMRT）的新型 Transformer-based 检测器自由方法，它能够自适应地调解不同特征和多个感受野，并利用并行网络来实现可靠的位置编码，实验表明 FMRT 在多个基准测试中表现出非凡的性能。

Oct, 2023