Jul, 2023

CVSformer: 用于语义场景补全的交叉视图融合变压器

PDF
TL;DR本文提出了一种称为 CVSformer 的方法，其中包括多视角特征合成和跨视角变压器，用于学习跨视角对象关系，在公共数据集上取得了最先进的结果。
semantic scene completion3d scenecnncross-view transformerpublic datasets
发现论文，激发创造
  • 上下文与几何感知的体素变换器用于语义场景补全

    本文介绍了一种基于视觉的语义场景补全方法，通过稀疏到稠密的转换和上下文与几何感知，使用 CGFormer 神经网络结构在不同尺度上提高了语义和几何表示能力，取得了在两个基准数据集上的最优性能。

    May, 2024

  • 交叉视图 Transformer 用于实时地图视角语义分割

    本文提出了一种名为 Cross-View Transformers 的注意力机制模型，能够在不需要显式几何建模的情况下，从多个相机的视角中学习到语义分割的图像表示，并进行了实时性能验证。

    May, 2022

  • 基于 Transformer 的多视角三维重建

    本文提出了一种名为 3D Volume Transformer（VolT）的新框架，将多视角 3D 重建转化成了序列到序列的预测问题，并使用 self-attention 来探索多个无序输入之间的视图关系。在大规模 3D 重建基准数据集 ShapeNet 上，我们的方法比其他基于 CNN 的方法使用更少的参数（减少了 70%），实现了新的多视角重建的最新精度。

    Mar, 2021

  • 使用 Transformer 进行体素级别视角选择和融合的体积式 3D 重建

    通过学习条件于相机姿态和图像内容的视图融合功能，利用变压器提出端到端体积三维重建网络 VoRTX，其模型鲁棒性强，处理视角多样，能保留更多的细节信息，比现有最先进方法更出色。

    Dec, 2021

  • VoxFormer：基于摄像机的稀疏体素变换器用于三维语义场景完成

    本论文提出了一种基于 Transformer 的场景语义补全框架 VoxFormer，可以从 2D 图像中输出完整的 3D 体素语义，并在测试中获得了相对 20% 的几何和 18.1% 的语义方面的提升。

    Feb, 2023

  • 具有 Transformer 的多视角立体

    本文介绍了一种称为 MVSTR 的网络，利用 Transformer 提取拥有全局上下文和三维一致性的密集特征，对于 Multi-View Stereo（MVS）可靠的匹配至关重要。该网络解决了现有基于 CNN 的 MVS 方法视野有限的问题，提出了全局上下文 Transformer 模块和 3D-geometry Transformer 模块，并在实验中获得了最佳性能。

    Dec, 2021

  • VSFormer：视觉空间融合 Transformer 用于对应关系修剪

    在本文中，我们提出了一种名为 VSFormer 的视觉空间融合转换器，通过交叉关注获取场景的高度抽象视觉线索，进而通过联合视觉空间融合模块将这些视觉线索嵌入到相应的对应关系中，实现对内点的识别和相机姿态恢复，同时通过结合基于 KNN 的图和转换器的新颖模块有效捕捉局部和全局背景的一致性，大量实验证明所提出的 VSFormer 在室内外基准上优于现有方法。

    Dec, 2023

  • CT-MVSNet: 交叉尺度变换的高效多视角立体视觉

    本文提出了一种新颖的跨尺度变换器来处理不同阶段的特征表示，同时引入了自适应匹配感知变换器、双特征引导聚合和特征度量损失等方法，以提高深度估计的准确性。实验证明，这种方法在 DTU 数据集和 Tanks and Temples 基准测试中取得了最先进的结果。

    Dec, 2023

  • 基于冲突的交叉视图一致性的半监督语义分割

    本文提出了一种新的基于双分支协同训练框架的基于冲突的跨视图一致性方法 (CCVC)，该方法使用特征差距损失鼓励两个子网络从相同的输入学习不同的特征，并使用冲突的伪标签方法来保证模型可以从冲突预测中学习更多有用的信息，从而在半监督语义分割 (Semantic Segmentation) 任务中取得了最新的最优性能.

    Mar, 2023

  • 视图合成的自监督学习

    本文介绍了一种基于视觉转换器的自监督学习框架 - 视图合成自动编码器，其使用跨注意力块实现跨角度合成视图，并学习了空间不变表示，提高了下游任务的性能。

    Apr, 2023