ECCVJul, 2022

基于 4D 卷积 Swin Transformer 的成本汇聚用于少样本分割

PDF
TL;DR本文提出了一种新的成本聚合网络，称为带有 Transformers（VAT）的体积聚合，用于少量样本分割，并通过 4D 卷积 Swin Transformer 解决了 Transformer 处理相关矩阵时可能遇到的问题，实现了在所有标准基准测试中的最新技术成果，且在语义对应性方面的表现也非常优异。
cost aggregation networkfew-shot segmentationtransformersconvolutional swin transformerstate-of-the-art performance
发现论文，激发创造
  • 费用聚合是少样本分割所需的全部

    介绍了一种新颖的成本聚合网络 ——Volumetric Aggregation with Transformers (VAT)，通过使用卷积和 Transformer 处理查询和支持之间的高维相关性地图，从而有效地处理 Few-shot 分割任务。

    Dec, 2021

  • 少样本分割的双重变形协方差矩阵聚合

    该论文提出了使用可学习协方差矩阵和可变形 4D Transformer 来解决在有限标注数据下准确测量支持和查询样本之间语义对应关系的问题，在公开基准测试中实现了新的最佳效果及较快的收敛速度。

    Jul, 2022

  • 用 Transformer 统一特征和成本聚合的语义和视觉对应

    本论文介绍了一种基于 Transformer 的综合特征和成本聚合网络，用于密集匹配任务。我们展示了特征聚合和成本聚合的不同特点，并介绍了一种简单而有效的架构，利用自注意力机制和互注意力机制来统一特征聚合和成本聚合，从而在语义匹配和几何匹配任务中实现了显著的改进。

    Mar, 2024

  • CostFormer: 多视图立体匹配中的成本聚合成本变换器

    本论文提出了一种名为 CostFormer 的高效 Transformer-based 成本聚合网络，其中 Residual Depth-Aware Cost Transformer（RDACT）用于通过沿深度和空间维度的自我注意机制聚合成本体上的长程特征，而 Residual Regression Transformer（RRT）则用于增强空间关注。

    May, 2023

  • 利用 Swin Transformer 进行局部到全局弱监督语义分割

    近年来，计算机视觉领域中的弱监督语义分割使用基于图像级标签的监督引起了广泛关注。本研究探索了使用 Swin Transformer 的 'SWTformer' 来提高初始种子 CAMs 的准确性，通过结合局部和全局视角。

    Jan, 2024

  • CATs: 视觉对应的成本汇聚变压器

    本研究提出一种名为 Cost Aggregation Transformers (CATs) 的新型 cost aggregation network，以解决大规模几何和出现变化情况下的图像语义相似性匹配问题，利用全局的自我注意机制消除初始相关图之间的不准确匹配，通过外观关联建模辅助 cost 聚合过程，创新地定位多级聚合模块，加入交换注意力机制和残差连接来提高性能。

    Jun, 2021

  • 基于增强的 Swin Transformer 及本地 - 全局特征的交替聚合的图像超分辨重建网络

    本论文通过交替聚合局部全局特征，引入了位移卷积实现局部空间信息和通道信息的交互，并提出了块稀疏全局感知模块以进一步实现空间和通道信息的交互。同时，引入了多尺度自注意模块和低参数残差通道注意模块，实现了不同尺度上的信息聚合。在五个公开数据集上验证了提出的网络，在超分辨率方面超过了其他最先进的网络。

    Dec, 2023

  • 使用 Transformer 进行体素级别视角选择和融合的体积式 3D 重建

    通过学习条件于相机姿态和图像内容的视图融合功能，利用变压器提出端到端体积三维重建网络 VoRTX，其模型鲁棒性强，处理视角多样，能保留更多的细节信息，比现有最先进方法更出色。

    Dec, 2021

  • 3D Former: 基于单目视觉的 3D SDF 变换器场景重建

    本文提出了一种基于 SDF 转换网络、稀疏窗口注意力模块和上下文注意力网络的三维变换器网络，用于更好地聚合三维特征，提高单目场景重建的精度和完整性。实验结果表明，该网络在多个数据集上优于现有方法，能够提高网格的准确性和完整性。

    Jan, 2023

  • 基于 Transformer 的多视角三维重建

    本文提出了一种名为 3D Volume Transformer（VolT）的新框架，将多视角 3D 重建转化成了序列到序列的预测问题，并使用 self-attention 来探索多个无序输入之间的视图关系。在大规模 3D 重建基准数据集 ShapeNet 上，我们的方法比其他基于 CNN 的方法使用更少的参数（减少了 70%），实现了新的多视角重建的最新精度。

    Mar, 2021