NeRFiller: 通过生成式 3D 修补完成场景

Dec, 2023

NeRFiller: 通过生成式 3D 修补完成场景

NeRFiller: Completing Scenes via Generative 3D Inpainting

Ethan Weber, Aleksander Hołyński, Varun Jampani, Saurabh Saxena, Noah Snavely...

TL;DR提出了一种名为 NeRFiller 的方法，使用现成的 2D 视觉生成模型进行基于生成式 3D 修复的 3D 捕捉的缺失部分的填充。与相关工作相比，我们的方法侧重于完成场景，而不是删除前景对象，并且不需要紧贴 2D 对象掩码或文本。

Abstract

We propose nerfiller, an approach that completes missing portions of a 3D capture via generative 3d inpainting using off-the-shelf 2D visual generative models. Often parts of a captured 3D scene or object are mis

nerfiller 3d capture generative 3d inpainting 2d visual generative models iterative framework

发现论文，激发创造

Inpaint3D: 使用 2D 修复扩散生成 3D 场景内容

本文介绍了一种新颖的方法，通过将 2D 扩散模型提炼为学习的 3D 场景表示（例如 NeRF），对给定的有掩模的多视图图像进行 3D 区域修补。

Dec, 2023

RealFill: 基于参考图像的真实图像修复生成

RealFill 是一种新的生成式修复模型，通过只使用少量与目标图像无需对齐且具有不同视角、光照条件、相机光圈或图像风格的参考图像个性化，能够以视觉上引人注目且忠实于原始场景的内容填充图像的缺失区域。在各种不同且具有挑战性的场景中，我们发现 RealFill 在新的图像修复基准测试中表现优于现有方法。

Sep, 2023

Inpaint4DNeRF: 具有生成扩散模型的可提示的时空 NeRF 补全

利用生成模型 Inpaint4DNeRF，该论文提出了一种基于稳定扩散模型（如 ControlNet）的直接生成方法，在编辑由 NeRF 表示的三维场景时，生成底层完成的背景内容，不论是静态还是动态，以实现 NeRF 修复的双重优势：通过生成种子图像和它们的三维代理，我们可以分别生成一小部分包含合理内容的完成图像，然后在所有完成图像中进行三维多视图一致性维护。

Dec, 2023

隐形缝合：使用深度修复生成平滑的 3D 场景

基于 2D 生成扩散模型的进展，我们在三维场景生成领域做出两个基本贡献：首先，通过引入新型深度完成模型学习三维融合过程，提高场景的几何一致性；其次，基于真实几何关系引入新的场景生成方法基准系统，用于评估场景结构的质量。

Apr, 2024

GRIG：少样本生成式残差图像修复

提出了一种使用 CNN 和 Transformers 进行全局推理的 few-shot generative residual image inpainting 方法，通过图像级和补丁级鉴别器及伪造补丁的对抗训练策略实现高质量修复效果，并通过对比评估表明该方法优于以往的 few-shot image inpainting 方法。

Apr, 2023

RealmDreamer: 基于文本驱动的带修补和深度扩散的 3D 场景生成

介绍了一种名为 RealmDreamer 的技术，可以通过文本描述生成通用的正面视图 3D 场景，并且具备高质量和多样性。该技术利用先进的文本到图像生成器初始化 3D 平面，并通过多个视图进行 3D 修补和基于图像的扩散建模，从而生成富含几何结构的场景。最后，通过图像生成器的锐化样本对模型进行微调，而无需视频或多视角数据，同时还可以从单个图像合成 3D 场景。

Apr, 2024

RICo：通用场景重建的旋转 - 修复 - 完整方法

通过结构化将问题分解为补全和 2D 到 3D 场景转换两个步骤，本文提出了一种场景重建的方法。通过利用大型语言模型来补全从不同视角渲染的场景彩色图像中的缺失区域，然后通过预测补全图像的法线并解决缺失深度值的方法来将这些补全图像转换为 3D。通过对法线的预测而不是直接预测深度，我们的方法可以适应深度分布和尺度的变化，同时在提供对新对象和场景的泛化能力的同时，优于多个对比基线的表现。

Jul, 2023

3D-SceneDreamer: 文本驱动的 3D 一致场景生成

利用文本驱动的 3D 场景生成技术，在构建 3D 场景时通过使用现有的生成模型进行图像变形和修复，同时结合查询和聚合全局 3D 信息来生成高质量的新内容，并在支持多种场景生成和任意相机路径的同时改善视觉效果和 3D 一致性。

Mar, 2024

基于上下文的图像修复：推断、匹配和翻译

本文提出了一种基于深度神经网络和纹理传播的学习方法来完成图像修复，通过分离任务为推理和翻译两个步骤并用简单的启发式算法指导局部纹理从边界到空洞的传播，我们证明了我们的方法在几个公共数据集上能够产生比以前的最先进方法更高质量的视觉结果。

Nov, 2017

RGBD2：使用 RGBD 扩散模型进行增量式视图修复的生成场景合成

该研究提出了一个新的解决方案 - RGBD^2，它可以从稀疏的 RGBD 视图中顺序生成新的 RGBD 视图，并将场景几何形状作为这些视图的融合结果。通过维护中间表面网格，并使用摄像机投影，将渲染的 RGBD 视图再次投影为部分表面并补充到中间网格中，以解决多视角不一致性的问题。这种方法在稀疏的 RGBD 输入中合成 3D 场景时具有优越性。

Dec, 2022