CVPRMar, 2024

UFORecon：泛化稀疏视角曲面重建：从任意和不利的数据集

PDF
TL;DR基于给定有限数量的多视角图像，实现可推广的神经隐式表面重建并使用视角组合得分判断输入视角组合的有效性。提出了 UFORecon，一个鲁棒的视角组合可推广表面重建框架，通过交叉视图匹配变换和建立相关视锥体来捕捉全局关联，显式编码成对特征相似性作为视角一致性先验。与先前方法相比，我们的提出的框架在视角组合可推广性和传统的训练有利视角组合基准上均表现出显著优势。
generalizable neural implicit surface reconstructionlimited number of multi-view imagesview-combination scoreuforeconcross-view matching transformers
发现论文，激发创造
  • SparseNeuS: 基於稀疏視角的快速通用神經表面重建

    SparseNeuS 是一种基于神经渲染的表面重建方法，采用有符号距离函数（SDF）作为表面表示，通过几何编码体引入图像特征的通用先验知识进行预测，在利用稀疏视图进行高质量重建时采用了多级几何推理框架、多尺度颜色融合方案和一致性感知微调。实验证明了该方法在速度、泛化性能和灵活性方面均表现出优越性。

    Jun, 2022

  • NeuSurf：基于表面先验的稀疏输入视图下的神经表面重建

    利用表面先验信息实现稀疏视角下高保真度的重构，通过全局几何对齐和本地几何细化，优化粗糙形状和细节，实现的稀疏视角重构框架在稀疏视图下得到了显著提升。

    Dec, 2023

  • GenS：多视角图像的通用神经表面重建

    我们提出了 GenS，一个端到端的通用神经表面重建模型，可以通过结合有符号距离函数（SDF）和可微体渲染，将多视图图像无需 3D 监督进行表面重建。与现有解决方案相比，我们的表示更强大，能够恢复高频细节并同时保持全局平滑性。同时，我们引入多尺度特征度量一致性，以在更具区分性的多尺度特征空间中施加多视图一致性，从而抵抗光度一致性的失效。我们还设计了一种视角对比损失，通过将密集输入中的几何先验精炼到稀疏输入中，强制模型对少视角覆盖的区域具有鲁棒性。在流行的基准测试上进行的大量实验证明，我们的模型能够很好地推广到新场景，并且胜过现有的最先进方法，即使那些使用地面真实深度监督的方法。

    Jun, 2024

  • SC-NeuS：从稀疏和嘈杂视角进行一致的神经表面重建

    本文提出了一种名为 SC-NeuS 的联合学习策略，该策略利用多视角约束从稀疏视图中恢复连续表面重建，并获得了比现有的神经表面重建方法更好的重建结果。

    Jul, 2023

  • Geo-Neus: 多视角重建的几何一致神经隐式曲面学习

    该论文提出了一种几何一致的神经隐式表面多视图重建方法，该方法利用多视觉几何约束和稀疏几何结构信息，结合有符号距离函数优化，以获得高质量的表面重建结果。

    May, 2022

  • 稀疏视图下平面表面重建

    本文提出一种在未知相机姿态下采用多视图重建室内场景中平面表面的方法，并且通过实验表明该方法在来自 Matterport3D 挑战性场景的稀疏视图的重建方面能够推进现有技术的发展。

    Mar, 2021

  • NeuralRecon：单目视频实时一致性三维重建

    本文介绍了名为 NeuralRecon 的新型框架，可实时从单目视频中重建 3D 场景。该系统采用基于学习的 TSDF 融合模块，通过神经网络直接逐个重建局部表面，从而捕捉局部平滑性先验和全局形状先验，实现高精度，连贯和实时的表面重建。实验结果表明，该系统在准确性和速度方面均优于现有的方法。这是首个能够在实时情况下重建连贯稠密 3D 几何模型的基于学习的系统。

    Apr, 2021

  • UpFusion：基于未姿态稀疏视角观测的新视角扩散

    UpFusion 是一个系统，可以在没有对应姿态信息的情况下，根据稀疏的参考图像执行新视角合成和推断对象的三维表示。

    Dec, 2023

  • 快速通用高斯投影立体视图重建

    MVSGaussian 是一种新的通用化的三维高斯表示方法，通过多视点立体视觉 (MVS) 有效重建未见过的场景，具有实时渲染速度和良好的综合质量。

    May, 2024

  • 基于几何引导的稀疏视图神经表面重建的光线增强

    本文提出了一种从稀疏多视角图像重建三维场景和对象的新方法，通过利用嵌入在多视角输入中的场景属性，创建精确的伪标签进行优化，而无需任何先验训练。我们的方法通过利用球谐函数来预测场景中点的新辐射，综合考虑所有颜色观察结果，从而提高稀疏视图的表面重建准确性。同时，我们的方法通过代理几何和正确处理遮挡来生成辐射的伪标签，避免了以往的图像变形方法的问题。我们的方法在 DTU 和 Blender 数据集上取得了优越的结果，而无需先前的训练，展示了其在解决稀疏视图重建问题方面的有效性。我们的流程灵活且可集成到其他稀疏视图的隐式神经重建方法中。

    Oct, 2023