AAAIDec, 2023

VSFormer：视觉空间融合 Transformer 用于对应关系修剪

PDF
TL;DR在本文中，我们提出了一种名为 VSFormer 的视觉空间融合转换器，通过交叉关注获取场景的高度抽象视觉线索，进而通过联合视觉空间融合模块将这些视觉线索嵌入到相应的对应关系中，实现对内点的识别和相机姿态恢复，同时通过结合基于 KNN 的图和转换器的新颖模块有效捕捉局部和全局背景的一致性，大量实验证明所提出的 VSFormer 在室内外基准上优于现有方法。
correspondence pruninginliersvisual-spatial fusion transformercamera poseslocal and global contexts
发现论文，激发创造
  • VoxFormer：基于摄像机的稀疏体素变换器用于三维语义场景完成

    本论文提出了一种基于 Transformer 的场景语义补全框架 VoxFormer，可以从 2D 图像中输出完整的 3D 体素语义，并在测试中获得了相对 20% 的几何和 18.1% 的语义方面的提升。

    Feb, 2023

  • MatchFormer: 用于特征匹配的变形金刚中的交错注意力

    本文提出了一种新的层次化提取和匹配变形器 MatchFormer 来提高局部特征匹配的效率和鲁棒性，该方法结合自注意力和跨注意力在多尺度特征的层次化架构上提高匹配鲁棒性，并在室内姿势评估、室外姿势评估、单应性评估和图像匹配检测四个基准测试中均取得 state-of-the-art 的结果。

    Mar, 2022

  • FuseFormer: 用于视频修复的 Transformer 融合细粒度信息

    FuseFormer 是一种针对视频修复任务的 Transformer 模型，通过使用细粒度特征融合的新型软分割和软组合操作，实现了更加有效的特征传播和内容合成，优于现有技术方法。

    Sep, 2021

  • SVFormer：一种直接训练的脉冲转换器用于高效的视频动作识别

    我们研究了利用脉冲神经网络的直接训练的 SVFormer（Spiking Video transFormer）进行视频动作识别，通过整合局部特征提取、全局自注意力和 SNN 的内在动态、稀疏性和脉冲驱动特性，以更高效和有效的方式提取时空特征，并在两个 RGB 数据集（UCF101、NTU-RGBD60）和一个神经形态学数据集（DVS128-Gesture）上进行了评估，表现出与主流模型相媲美的性能同时功耗更低，UCF101 的准确率达到 84.03%，能耗仅为 21 mJ / 视频，这是在直接训练的深度 SNN 中的最新技术水平，显示出相对于以前的模型的显著优势。

    Jun, 2024

  • CVSformer: 用于语义场景补全的交叉视图融合变压器

    本文提出了一种称为 CVSformer 的方法，其中包括多视角特征合成和跨视角变压器，用于学习跨视角对象关系，在公共数据集上取得了最先进的结果。

    Jul, 2023

  • ParaFormer: 并行注意力变换器用于高效特征匹配

    本论文提出了基于深度学习和两种新型概念 ——ParaFormer 和基于图形的 U-Net 结构，以实现卓越的性能和高效率，通过在各种应用（包括单应性估计、姿态估计和图像匹配）上进行多项实验证明 ParaFormer-U 变体在保证性能同时，计算量仅为现有基于注意力模型的 50%。

    Mar, 2023

  • SGDFormer：一阶段基于 Transformer 的跨光谱立体图像引导去噪架构

    我们提出了一种名为 SGDFormer 的单阶段变压器架构，用于交叉光谱立体图像引导去噪，该架构将立体图像的对应建模和特征融合集成到一个统一的网络中，以恢复没有伪影和良好细节结构的图像，并在各种数据集上取得了最先进的性能。

    Mar, 2024

  • 上下文与几何感知的体素变换器用于语义场景补全

    本文介绍了一种基于视觉的语义场景补全方法，通过稀疏到稠密的转换和上下文与几何感知，使用 CGFormer 神经网络结构在不同尺度上提高了语义和几何表示能力，取得了在两个基准数据集上的最优性能。

    May, 2024

  • SWFormer：用于点云三维物体检测的稀疏窗口变换器

    本文提出了一种针对 3D 目标检测的模型 Sparse Window Transformer（SWFormer），它能够充分利用点云数据的稀疏性，并通过 “桶” 技术对不同长度的稀疏窗口有效地进行处理。在 Multi-scale 特征融合和窗口偏移操作的基础上，作者还引入了新的体素扩散技术。最终，在 Waymo Open Dataset 上的实验结果表明，SWFormer 相比于所有先前的单阶段和两阶段模型，取得了最新的 73.36 L2 mAPH 表现，同时更加高效。

    Oct, 2022

  • 自适应 Span Transformer 技术的无检测匹配图像方案 ASpanFormer

    提出了一种基于 Transformer 的 ASpanFormer 检测器自由匹配器，采用分层注意力结构，能够在全局和本地粒度上捕捉上下文，并具有自适应调整注意跨度的能力，以此来实现在匹配任务中对高相关性像素的细粒度关注。

    Aug, 2022