ICLRMar, 2024

用 Transformer 统一特征和成本聚合的语义和视觉对应

PDF
TL;DR本论文介绍了一种基于 Transformer 的综合特征和成本聚合网络，用于密集匹配任务。我们展示了特征聚合和成本聚合的不同特点，并介绍了一种简单而有效的架构，利用自注意力机制和互注意力机制来统一特征聚合和成本聚合，从而在语义匹配和几何匹配任务中实现了显著的改进。
transformer-basedintegrative featurecost aggregation networkdense matchingself- and cross-attention mechanisms
发现论文，激发创造
  • CATs: 视觉对应的成本汇聚变压器

    本研究提出一种名为 Cost Aggregation Transformers (CATs) 的新型 cost aggregation network，以解决大规模几何和出现变化情况下的图像语义相似性匹配问题，利用全局的自我注意机制消除初始相关图之间的不准确匹配，通过外观关联建模辅助 cost 聚合过程，创新地定位多级聚合模块，加入交换注意力机制和残差连接来提高性能。

    Jun, 2021

  • 费用聚合是少样本分割所需的全部

    介绍了一种新颖的成本聚合网络 ——Volumetric Aggregation with Transformers (VAT)，通过使用卷积和 Transformer 处理查询和支持之间的高维相关性地图，从而有效地处理 Few-shot 分割任务。

    Dec, 2021

  • 具显式成本聚合子结构的深度立体匹配

    本研究以深度学习的 cost aggregation 理论为基础，提出了使用两路神经网络进行视差匹配的方法，并在 KITTI 和 Scene Flow 等数据集上进行全面实验。实验表明，本方法在性能上胜过了目前的最先进方法。

    Jan, 2018

  • 统一流场、立体和深度估计

    本文提出了一种统一的模型形式和模型，可以用于光流、矫正立体匹配和从定位图像中估计无校准立体深度。该模型使用 Transformer 中的交叉注意力机制实现判别特征表示，并在允许跨任务转移的同时，在多个数据集上实现或超过现有最新方法的性能。

    Nov, 2022

  • CostFormer: 多视图立体匹配中的成本聚合成本变换器

    本论文提出了一种名为 CostFormer 的高效 Transformer-based 成本聚合网络，其中 Residual Depth-Aware Cost Transformer（RDACT）用于通过沿深度和空间维度的自我注意机制聚合成本体上的长程特征，而 Residual Regression Transformer（RRT）则用于增强空间关注。

    May, 2023

  • 基于 4D 卷积 Swin Transformer 的成本汇聚用于少样本分割

    本文提出了一种新的成本聚合网络，称为带有 Transformers（VAT）的体积聚合，用于少量样本分割，并通过 4D 卷积 Swin Transformer 解决了 Transformer 处理相关矩阵时可能遇到的问题，实现了在所有标准基准测试中的最新技术成果，且在语义对应性方面的表现也非常优异。

    Jul, 2022

  • 语义分割的类别特征转换器

    利用类别特征转换器（CFT）来探索多阶段特征之间的类别嵌入和转换，通过常见的多头注意力机制学习统一的特征嵌入，并将其动态广播到高分辨率特征，将 CFT 集成到典型的特征金字塔结构中可以在多种骨干网络上展现卓越性能，经过在流行的语义分割基准数据集上的大规模实验，CFT 在具有挑战性的 ADE20K 数据集上获得了引人注目的 55.1％mIoU，同时大大减少了模型参数和计算量。

    Aug, 2023

  • 基于仿射变换的可变形注意力和选择性融合用于半密匹配

    本文提出了基于变换器的半密集匹配方法，引入了基于仿射的局部注意力和选择性融合来模拟跨视图变形，并强调了损失设计中的空间平滑性的重要性，通过这些增强方法，我们的网络在不同设置下表现出很强的匹配能力。

    May, 2024

  • 特征聚合的互信息折衷方法在人脸识别中的应用

    本文提出一种利用两种最新的深度人脸识别模型 ArcFace 和 AdaFace 的输出进行聚合的技术，通过利用 Transformer 注意机制来改善人脸识别系统的总体区分能力，并通过引入信息瓶颈原理来确保聚合特征保留最相关和区分能力最强的信息。在流行的基准测试中，我们的方法在人脸识别性能上展现出了一致的改进，证明了其有效性。

    Sep, 2023

  • 立体匹配的跨尺度成本聚合

    本文提出了一个通用的跨尺度成本聚合框架，以允许成本聚合的多尺度交互，并在多个数据集上得到了重大的改进。

    Mar, 2014