ICCVSep, 2023

当极线约束遇上多视点立体的非局部算子

PDF
TL;DR应用非局部特征增强和基于双线搜索的 Transformer 方法改进多视角立体视觉的特征匹配，并在学习式 MVS 基线 ET-MVSNet 中加入 Epipolar Transformer 技术，提高了重建性能。
multi-view stereofeature matchingnon-local feature augmentationepipolar geometryepipolar transformer
发现论文，激发创造
  • MVSTER：高效的多视角立体匹配的基于极线变换机制的转换器

    本文介绍一种名为 MVSTER 的新型多视角立体重建方法，该方法利用提出的极线 Transformer 以高效地学习 2D 和 3D 信息，采用级联结构以构建更精细的深度估计，通过熵正则化的最优传输算法来提高重建性能并显著减少运行时间。

    Apr, 2022

  • TransMVSNet：基于 Transformer 的全局上下文感知多视角立体网络

    本研究提出了 TransMVSNet，它是基于多视图立体视觉（MVS）中的特征匹配的探索而来的，利用 Feature Matching Transformer 实现自内、交叉注意力聚合图像内外的长程上下文信息来完成 MVS 任务，并借助 Adaptive Receptive Field 模块和 Pair-wise feature correlation 量化特征的相似性和优化任务效果。实验结果表明，该方法在多个基准数据集上取得了最优的性能。

    Nov, 2021

  • 具有 Transformer 的多视角立体

    本文介绍了一种称为 MVSTR 的网络，利用 Transformer 提取拥有全局上下文和三维一致性的密集特征，对于 Multi-View Stereo（MVS）可靠的匹配至关重要。该网络解决了现有基于 CNN 的 MVS 方法视野有限的问题，提出了全局上下文 Transformer 模块和 3D-geometry Transformer 模块，并在实验中获得了最佳性能。

    Dec, 2021

  • CT-MVSNet: 交叉尺度变换的高效多视角立体视觉

    本文提出了一种新颖的跨尺度变换器来处理不同阶段的特征表示，同时引入了自适应匹配感知变换器、双特征引导聚合和特征度量损失等方法，以提高深度估计的准确性。实验证明，这种方法在 DTU 数据集和 Tanks and Temples 基准测试中取得了最先进的结果。

    Dec, 2023

  • 教授 Transformer 多视图几何的轻触方法

    本论文提出了使用极线来引导转换器的跨关注映射，以指导 Transformer 学习多视角几何，并在需要时使其突破自由。实验证明，我们的方法在对象检索方面优于现有技术，而无需在测试时提供姿态信息。

    Nov, 2022

  • 极线变换器

    本文提出一种不同于传统的两步法的可微分配准方法，利用视差约束和特征匹配改进了 2D 姿态估计以提高 3D human joints 定位的精度。

    May, 2020

  • 表示相机重定位的三维稀疏地图点和线

    通过利用一个轻量级神经网络，我们展示了如何学习表示三维点和线特征，并通过多个学习映射的力量在姿态准确性方面取得领先的结果。我们通过使用一个转换器块编码线特征，将其有效地转化为独特的点式描述符，并在几个图层中集成自注意力和交叉注意力，从而有效地优化每个特征后使用两个简单的多层感知器进行三维地图回归。在综合实验中，我们的室内定位结果在基于点和基于线的配置上都超过了 Hloc 和 Limap 的结果。而且，在户外场景中，我们的方法取得了显著的领先地位，是目前基于学习的方法中最重要的改进。

    Feb, 2024

  • 基于多层深度和极线变换的三维场景重建

    此研究论文研究如何从单个 RGB 图像自动重建场景的完整 3D 模型，它采用一种新的 Epipolar Feature Transformer 技术来联合图像的多层深度表示和卷积神经网络特征以提高场景信息的准确性。

    Feb, 2019

  • 从宽基线立体对学习生成新视角

    介绍了一种用于单个广角立体图像对的新视角合成的方法，包括 3D 场景重构和外观变化的先验模型，提出了一种多视角变换编码器、图像上的极线采样方案和轻量级交叉注意力渲染器，通过大规模实际数据集的训练，证明了模型学习到了强大的多视角几何先验，大大缩短了渲染时间，并在两个实际数据集上得到了显著的优越性能。

    Apr, 2023

  • MVPSNet：快速通用的多视角光度立体

    我们提出了一个快速且通用的解决多视图光度立体 (MVPS) 问题的方法，称为 MVPSNet。我们的方法通过一个特征提取网络有效地结合同一视图下不同光照条件下的图像，从阴影线索中提取几何特征用于立体匹配。我们通过介绍一种新的人工合成数据集 sMVPS 来训练我们的方法，并展示了在纹理缺失区域中提取特征的有效性。结果表明，我们的方法的重建结果与一个最先进的 MVPS 方法 PS-NeRF 相似，但推理速度快 411 倍（105 秒与 12 小时），具有一般化的可训练能力。

    May, 2023