IJCAIMay, 2023

CostFormer: 多视图立体匹配中的成本聚合成本变换器

PDF
TL;DR本论文提出了一种名为 CostFormer 的高效 Transformer-based 成本聚合网络，其中 Residual Depth-Aware Cost Transformer（RDACT）用于通过沿深度和空间维度的自我注意机制聚合成本体上的长程特征，而 Residual Regression Transformer（RRT）则用于增强空间关注。
multi-view stereocost aggregationtransformerrdactrrt
发现论文，激发创造
  • CT-MVSNet: 交叉尺度变换的高效多视角立体视觉

    本文提出了一种新颖的跨尺度变换器来处理不同阶段的特征表示，同时引入了自适应匹配感知变换器、双特征引导聚合和特征度量损失等方法，以提高深度估计的准确性。实验证明，这种方法在 DTU 数据集和 Tanks and Temples 基准测试中取得了最先进的结果。

    Dec, 2023

  • MVSFormer++：揭示多视角立体匹配中 Transformer 细节中的问题

    近期基于学习的多视点立体（MVS）方法中，引入了具有注意机制的基于 Transformer 模型的最新进展；然而，现有方法对 Transformer 在不同 MVS 模块上的深远影响尚未进行彻底研究，导致深度估计能力有限。本文提出了 MVSFormer++ 方法，通过充分利用注意机制固有特性增强 MVS 流程的各个组成部分，将跨视图信息融入预训练的 DINOv2 模型以促进 MVS 学习，并采用不同的注意机制对特征编码器和代价体积正则化进行处理，分别关注特征和空间聚合。此外，我们发现一些设计细节会极大地影响 Transformer 模块在 MVS 中的性能，包括归一化的三维位置编码、自适应注意力缩放和层归一化的位置。在 DTU、Tanks-and-Temples、BlendedMVS 和 ETH3D 上进行的综合实验验证了所提出方法的有效性。值得注意的是，MVSFormer++ 在具有挑战性的 DTU 和 Tanks-and-Temples 基准上实现了最先进的性能。

    Jan, 2024

  • 基于注意力感知的代价体积金字塔的多视角立体网络用于三维重建

    提出一种高效的多视角立体（MVS）网络以实现多视角图像的三维重建和深度推断，其采用策略推断出粗到细的深度图，其中引入自注意力层与相似度测量来生成新的代价体以进行深度图细化，最终实验表明该模型优于大多数 SOTA 方法。

    Nov, 2020

  • 用 Transformer 统一特征和成本聚合的语义和视觉对应

    本论文介绍了一种基于 Transformer 的综合特征和成本聚合网络，用于密集匹配任务。我们展示了特征聚合和成本聚合的不同特点，并介绍了一种简单而有效的架构，利用自注意力机制和互注意力机制来统一特征聚合和成本聚合，从而在语义匹配和几何匹配任务中实现了显著的改进。

    Mar, 2024

  • 高分辨率多视角立体匹配的级联代价体

    本文提出了一种既节省时间又节省内存的立体成像方法，该方法在几何和语境的渐进细化尺度中构建标准的特征金字塔下的代价体，随着不断增加的代价体分辨率以及深度（或差异）间隙的自适应调整，以较粗糙的方式从粗到细恢复输出。

    Dec, 2019

  • RIAV-MVS: 基于循环索引的非对称体积多视角立体重建

    本文提出了一种基于学习的方法，通过迭代索引平面扫描成本体积并借助卷积门控循环单元来回归深度图，从而进行多视角深度估计。经过对真实世界多视图数据集的大量实验，验证了该方法在数据集内部性能和跨数据集概括性能方面都达到了最先进水平。

    May, 2022

  • 基于 Transformer 的多帧自监督深度学习

    本研究提出了使用特征匹配和转换器架构进行单目自监督深度估计的新方法，通过使用深度离散化的极线采样选择匹配候选项，并通过一系列的自注意力和交叉注意力层来改进预测。该方法可以从视频中单独训练，从而建立自监督单目深度估计的最新技术，并具有一定的泛化性能.

    Apr, 2022

  • 级联极线 RAFT 的多视角立体匹配

    提出 CER-MVS (Cascaded Epipolar RAFT Multiview Stereo) 方法，使用 RAF（Recurrent All-Pairs Field Transforms）架构，引入 epipolar cost volumes，cost volume cascading，multiview fusion of cost volumes，dynamic supervision 以及 multiresolution fusion of depth maps 等五种新方法以从多个校准图像中重建 3D 模型，具有较强性能。

    May, 2022

  • CATs: 视觉对应的成本汇聚变压器

    本研究提出一种名为 Cost Aggregation Transformers (CATs) 的新型 cost aggregation network，以解决大规模几何和出现变化情况下的图像语义相似性匹配问题，利用全局的自我注意机制消除初始相关图之间的不准确匹配，通过外观关联建模辅助 cost 聚合过程，创新地定位多级聚合模块，加入交换注意力机制和残差连接来提高性能。

    Jun, 2021

  • 利用后期成本聚合提升多视图立体匹配

    基于学习的多视点立体匹配，我们提出了一种晚期聚合方法，通过整个网络前馈过程对成对成本进行聚合，实现准确的估计，并且仅对普通 CasMVSNet 进行微小改变，从而使后续的深度网络充分利用关键的几何线索。

    Jan, 2024