May, 2024

利用新颖的梯度一致性模型进行多视角视差估计

PDF
TL;DR这篇论文提出了使用梯度一致性信息来评估线性化的有效性，并将此信息用于确定作为解析梯度一致性模型的一部分应用于数据项的权重，以取代基于预定日程的数据库学术自调度，该模型通过分析得出的梯度一致性模型用于于目标视图的空间梯度和源视图的空间梯度之间不匹配的视图对的数据项。我们表明，梯度一致性模型在收敛速度和准确性方面优于标准的粗粒度到精细度方案和最近提出的逐步包含视图的方法。
发现论文，激发创造
  • 可微射线一致性的单视图重建多视图监督

    研究了 3D 形状和 2D 观察之间的一致性，并提出了一种可微分的公式，能够计算给定任意视角观察的 3D 形状的梯度；通过重新定义可微的 Ray 一致性（DRC）项，可以将视图一致性重新推导出来。这种公式可以结合不同类型的多视图观察，如前景掩模、深度、彩色图像、语义等，作为学习单视角 3D 预测的监督来使用，我们在控制性的实验中证明了我们技术的实用性。同时，我们还表明，这种方法可以改进从 PASCAL VOC 数据集中对物体进行单视图重建的现有技术。

    Apr, 2017

  • GC-MVSNet：多视角，多尺度，几何一致的多视图立体视觉

    本文介绍了一种新的方法，通过在学习过程中明确地鼓励多个源视图的参考视图深度图的几何一致性，加速学习过程，达到了 DTU 和 BlendedMVS 数据集的最新技术水平，并在 Tanks and Temples 基准上获得了有竞争力的结果。据我们所知，GC-MVSNet 是对多视图、多尺度几何一致性进行学习的第一次尝试。

    Oct, 2023

  • 左右相对循环模型用于立体匹配

    本文提出了一种使用递归模型进行立体视觉场景深度估计的方法，并结合左右一致性检查，通过软注意力机制逐步提高生成的视差图质量。在 KITTI 2015，Scene Flow 和 Middlebury 基准测试中进行了广泛的评估，并证明了该方法的有效性和实用价值。

    Apr, 2018

  • 具有扩散模型的长期光度一致的新视角综合

    本文提出了一种基于条件扩散模型的新型生成模型，用于从单个输入图像生成相对的摄像机视图的连续序列的照片般逼真、视角一致、空间几何连续的图像。

    Apr, 2023

  • 一个优化框架用于强制实施多视图一致性以在使用预训练文本到图像模型进行 3D 网格着色

    一篇介绍了一个优化框架以实现多视角一致性的研究论文，通过四个阶段的处理，生成多个 2D 纹理和相互一致的视图，并进行非刚性对齐与关联，实验结果表明该方法在质量和数量上均显著优于基准方法。

    Mar, 2024

  • 光流估计的一致性约束

    本论文提出了新的一致性策略，包括自监督学习和半监督学习，以提高基于像素级运动描述能力，并在 KITTI-2015 景流基准测试中达到卓越的结果，实现前景准确性最佳的成果，其中且仅使用单眼图像输入。

    Apr, 2022

  • Consistent-1-to-3: 基于几何感知扩散模型的一致的图像到 3D 视图合成

    通过利用生成模型，将零样本新视点合成问题分为两个阶段，即将观察到的区域转化为新视图和对未见过的区域进行幻觉。为了解决 3D 一致性问题，本文提出了一种具有几何约束的极线引导注意力和多视图注意力的场景表示方法。通过多个数据集的定性和定量评估，证明了所提出机制在效果上优于现有方法。

    Oct, 2023

  • 通过强健的光度一致性学习无监督的多视图立体成像

    提出了一种基于学习的多视点立体感知方法，可以在宽基线 MVS 环境下学习深度预测并通过稳健的损失函数处理遮挡和光照等问题。该方法不需要使用三维监督数据进行训练，并且可以通过无监督的微调实现对新数据集的适应。

    May, 2019

  • 基于特征一致性的领域通用立体匹配网络再探

    提出一种针对立体匹配网络中特征一致性维护的方法，通过像素级对比学习、特征保白和特征一致性损失函数等手段，实现模型在未知领域的泛化能力提升，并在合成数据经过训练后在四个真实测试集上实现比多种现有技术更好的性能。

    Mar, 2022

  • VideoMV：基於大型視頻生成模型的一致多視角生成

    使用来自视频生成模型的图像，通过引入一种新的框架以及 3D 感知降噪采样策略，可以更快速地生成密集视图，提高图像的质量和一致性。

    Mar, 2024