Oct, 2023

GraFT: 渐进融合变换器用于多模态再识别

PDF
TL;DRGradual Fusion Transformer (GraFT) is proposed for multimodal Object Re-Identification (ReID), employing learnable fusion tokens to capture modality-specific and object-specific features, optimizing the ReID feature embedding space through a novel training paradigm combined with an augmented triplet loss, and demonstrating superior performance over established benchmarks while offering model size and performance balance with integrated neural network pruning.
object re-identificationmultimodal representation learninggradual fusion transformer (graft)training paradigmneural network pruning
发现论文，激发创造
  • 魔法令牌：多模物体重新识别中的选择多样性令牌

    通过 EDITOR 框架中的多模态对象 ReID 方法实现对背景的抑制、特征重提取、空间频率令牌选择和特征细化，以产生更具辨别性的特征，从而提高在复杂视觉场景中的对象再识别效果。

    Mar, 2024

  • GiT: 用于车辆再识别的图形交互变压器

    本文提出一种名为 GiT 的图与变压器相互作用的模型，用于处理车辆重新识别问题，提取局部可辨别的特征和全局的鲁棒特征，该方法在三个大规模车辆重新识别数据集上的实验证明其优于现有方法。

    Jul, 2021

  • 其他符号很重要：探索视觉变换器在物体再识别中的全局和局部特征

    本文研究了物体再识别中全局 - 局部关系对于 Transformer 的影响，并提出了一种全局 - 局部 Transformer 模型，并基于最后几层的特征和类别信息学习了全局特征，同时结合多层局部信息来探索判别性的局部表示，在四个物体再识别基准数据集上实现了卓越的性能。

    Apr, 2024

  • 基于多粒度参考引导的注意力特征聚合技术用于基于视频的人员重识别

    提出一种名为 MG-RAFA 的关注特征汇聚模块，用于将空间 - 时间特征精细地聚合成具有判别性的视频级别特征表示，采用全局视图与卷积操作学习关注，并基于不同粒度的关系学习多粒度关注，实现了视频 ReID 任务上的最新成果。

    Mar, 2020

  • 全局 - 局部时间表示用于视频行人再识别

    本文提出了全局 - 局部时间表征（GLTR）的方法，以利用视频序列中的多尺度时间线索进行视频人物重新识别。这种方法通过对相邻帧中的短时时间线索进行建模，然后捕捉不连续帧之间的长期关系来构建。其中，短期时间线索是通过不同的时间扩张率平行膨胀卷积来表示行人的运动和外貌。利用时间自我注意模型来捕捉长期关系，以减轻视频序列中的遮挡和噪音。最终，通过简单的单流卷积神经网络将短期和长期时间线索聚合形成 GLTR。在四个广泛使用的视频 ReID 数据集上，GLTR 相对于基于身体部分线索或度量学习学习到的现有特征表现出显著的优越性。例如，在 MARS 数据集上，它取得了 87.02％的 Rank-1 精度，而且没有经过一次排序，优于目前的最新技术水平。

    Aug, 2019

  • UniCat：为多模态重新识别构建更强的融合基线

    多模态重新识别是一个流行的检索任务，旨在跨不同数据流重新识别对象，本研究发现现有的后期融合技术在与训练单独的模态比较时产生次优潜在表示，我们探讨了这种效应主要是由于融合使用时对个别模态的训练目标不经意地放松，他人称之为模态懒散。我们提出了一个细致的观点，即这种放松可能导致某些模态无法充分利用可用的任务相关信息，然而，对于噪声模态提供了保护屏障，防止它们过拟合到无关数据，我们的发现还表明，当与已知最佳训练技术配对时，单模态拼接（UniCat）和其他后期融合的单模态骨干集成在多个多模态 ReID 基准测试中超过了当前的最先进性能，通过揭示 “模态懒散” 的双刃剑，我们推动未来研究在平衡局部模态优势和全局表示方面。

    Oct, 2023

  • 目标重新识别的 Transformer：一项综述

    该论文综合评述了基于 Transformer 的物体再识别 (Re-ID) 的现有工作，涵盖了多个领域和挑战，并提出了一个基于 Transformer 的新方法 UntransReID，同时还讨论了未来研究中的重要问题。

    Jan, 2024

  • 面向可见光红外人员再识别的同质化模态学习和多粒度信息探索

    本文提出一种基于 Aligned Grayscale Modality (AGM) 的跨模态人员重识别方法，通过生成灰度可见光图像和风格迁移转换红外图像得到一致的数据，再结合多颗粒度特征提取网络在特征级别进行对齐，能够显著提高跨模态检索表现。

    Apr, 2022

  • 多模态知识图谱完成的多层级融合混合变压器

    本文提出了一种具有多级融合和混合变压器结构的 Multimodal Knowledge Graphs，用于解决多模态知识图谱完成任务中的问题，并在四个数据集上取得了 SOTA 性能。

    May, 2022

  • 一种基于图形的多模态融合编码器在神经机器翻译中的应用

    本论文提出了一种新型的基于图的多模态融合编码器，用于多模态神经机器翻译（NMT）中利用不同模态语义单元之间的细粒度语义对应关系，以优化多模态表示学习，并在 Multi30K 数据集上验证了模型的卓越性能。

    Jul, 2020