Dec, 2023

NeuSD：多视角文本到图像扩展的表面完整性

HTML
PDF
TL;DR我们提出了一种新颖的方法，用于从多个图像中进行3D物体表面重建，其中只捕获了物体的一部分。我们的方法基于两个最新发展：使用神经辐射场进行表面重建，用于重建表面的可见部分，以及使用预训练的2D扩散模型的指导（SDS）完成未观察到的区域的形状。我们引入了三个组件：首先，建议使用法线图作为SDS的纯几何表示，而不是与外观信息交织在一起的颜色渲染。其次，我们在训练过程中使SDS噪声保持固定，这会导致更一致的梯度和更好的收敛性。第三，我们提出了多视角SDS作为一种在不对底层2D稳定扩散模型进行微调或更改的情况下对非可观察部分的生成进行条件化的方法。我们在BlendedMVS数据集上对我们的方法进行评估，结果显示相比竞争方法，我们取得了显著的定量和定性改进。
发现论文，激发创造
  • 基于体渲染学习神经隐式曲面的多视角重建

    该研究提出了一种新颖的神经表面重建方法NeuS，将表面表示为带符号距离函数的零水平集，并开发了一种新的体积渲染方法来训练神经SDF表示，自主进行高保真度的物体和场景三维重建。

    Jun, 2021

  • SparseNeuS: 基於稀疏視角的快速通用神經表面重建

    SparseNeuS是一种基于神经渲染的表面重建方法，采用有符号距离函数（SDF）作为表面表示，通过几何编码体引入图像特征的通用先验知识进行预测，在利用稀疏视图进行高质量重建时采用了多级几何推理框架、多尺度颜色融合方案和一致性感知微调。实验证明了该方法在速度、泛化性能和灵活性方面均表现出优越性。

    Jun, 2022

  • 无需针对每个形状优化，45秒内将任意单张图像转换为3D网格

    该研究提出了一种新的方法，使用单个图像进行3D重建，生成了一个完整的360度3D纹理网格，改进于现有方法，具有更好的几何形状和一致性。

    Jun, 2023

  • 无3D监督的多视角图像神经三维场景重建

    本文提出了一种新的神经重建方法，使用可访问的 2D 图像作为监督来进行 3D 场景重建，其中通过引入二进制带注符号距离函数、色彩场和概率场等方法实现了场景的重建，并引入了几何和平面约束以实现对场景复杂几何区域和低纹理区域的重建。

    Jun, 2023

  • Sparse3D：基于稀疏视角的多视点一致性扩散物体重建

    Sparse3D是一种针对稀疏视角输入的新型三维重建方法，通过从强大的图像扩散模型提取2D先验，使得我们的综合模型在面对开放世界对象时仍能始终保持高质量的结果，并借助C-SDS技术来增强细节，实验证明了我们的方法在NVS和几何重建方面优于之前的最先进工作。

    Aug, 2023

  • Inpaint3D: 使用2D修复扩散生成3D场景内容

    本文介绍了一种新颖的方法，通过将2D扩散模型提炼为学习的3D场景表示（例如NeRF），对给定的有掩模的多视图图像进行3D区域修补。

    Dec, 2023

  • 多视角漫反射器视图和几何优化提炼

    使用基于图像条件的扩散模型从单视角生成多视角图像是最新的技术进展，虽然存在合成图像不一致和提取几何信息过度平滑等问题，但本研究通过优化辐射场、修正传统辐射场优化过程中的偏差以及开发一个专门的两步骤过程，实现了从多视角图像中恢复准确的几何信息和纹理。

    Dec, 2023

  • 文字图像条件扩散用于一致的文字到3D生成

    通过将预训练的二维扩散模型引入神经光辐射场（NeRFs），文本到三维生成方法取得了巨大的进展，其中许多最先进的方法通常使用得分蒸馏采样（SDS）来优化NeRF表示，该方法通过预训练的文本条件的二维扩散模型（例如ImData）监督NeRF优化。然而，由这种预训练扩散模型提供的监督信号仅依赖于文本提示，并不限制多视角一致性。为了将跨视角一致性引入扩散先验中，一些最近的工作通过多视角数据微调二维扩散模型，但仍缺乏细粒度的视图连贯性。为了解决这个挑战，我们将多视角图像条件纳入NeRF优化的监督信号中，明确强制执行细粒度的视图一致性。通过这种更强的监督，我们提出的文本到三维方法有效地减轻了由于过高密度而产生的浮动点和由于密度不足而形成的完全空白空间。我们在T$^3$Bench数据集上的定量评估表明，我们的方法在现有的文本到三维方法中达到了最先进的性能。我们将公开发布代码。

    Dec, 2023

  • UniSDF：统一神经表示用于具有反射的复杂场景的高保真度3D重建

    提出了UniSDF，一个可以重建具有反射表面的大规模复杂场景的通用3D重建方法。通过在3D空间中明确混合视图和反射颜色预测参数化技术，使得重建的表面在几何上更准确，特别是对于反射表面。通过与多分辨率网格主干结合，该方法以粗糙到精细的方式进行训练，实现比以前的方法更快的重建速度。大量实验表明，该方法能够稳健地重建具有精细细节和反射表面的复杂大规模场景。

    Dec, 2023

  • 基于法向引导的高保真三维曲面重建的神经隐式函数

    通过使用一阶微分特性(即，表面法线)，本文展示了训练神经表示形成高准确度的3D表面重建，即使只有两个RGB视图可用，极大地改善了以前难以捕捉的复杂几何细节和薄结构。

    Jun, 2024