Apr, 2024

InFusion: 基于扩散先验学习深度完成的三维高斯填充

PDF
TL;DR通过使用图像条件的深度完成模型引导点的初始化，本研究提出了一种名为 InFusion 的方法，它能够更准确地补全 3D 高斯空间中的点，从而在各种复杂情况下提供更好的保真度和效率。
3d gaussiansinpaintingdepth completionrenderingefficiency
发现论文，激发创造
  • RefFusion：3D 场景修复的参考适应扩散模型

    我们提出了一种基于多尺度个性化图像修复扩散模型的新型三维修复方法 RefFusion，通过引入参考图像，实现了对修复内容的显式控制，从而在保持高可控性的同时取得了最先进的物体去除效果。

    Apr, 2024

  • Inpaint3D: 使用 2D 修复扩散生成 3D 场景内容

    本文介绍了一种新颖的方法，通过将 2D 扩散模型提炼为学习的 3D 场景表示（例如 NeRF），对给定的有掩模的多视图图像进行 3D 区域修补。

    Dec, 2023

  • 隐形缝合：使用深度修复生成平滑的 3D 场景

    基于 2D 生成扩散模型的进展，我们在三维场景生成领域做出两个基本贡献：首先，通过引入新型深度完成模型学习三维融合过程，提高场景的几何一致性；其次，基于真实几何关系引入新的场景生成方法基准系统，用于评估场景结构的质量。

    Apr, 2024

  • 使用深度强化学习实现体积引导、渐进式视角修复，从单张深度图完成 3D 点云场景补全

    通过深度强化学习方法实现了一种逐步视角修复的三维空间点场景补全方法，利用体积重建、深度图像修复和多视角选择方法来达到高质量的场景重建。

    Mar, 2019

  • RenderDiffusion：用于 3D 重建、修补与生成的图像扩散

    本文提出了 RenderDiffusion，这是第一个用于 3D 生成和推断的扩散模型，使用仅有的单眼 2D 监督进行训练，并采用新颖的图像去噪架构进行中间的三维表示，以提供强烈归纳结构，同时仅需要 2D 监督。我们在 FFHQ、AFHQ、ShapeNet 和 CLEVR 数据集上评估了 RenderDiffusion，展示了生成 3D 场景和从 2D 图像中推理 3D 场景的竞争性表现。此外，我们的扩散型方法还使我们能够使用 2D 修复来编辑 3D 场景。

    Nov, 2022

  • 视频修复的内部扩散技术

    视频修复方法基于扩散模型的内部学习算法，通过简化学习步骤并针对动态背景和纹理，在视频修复任务中达到了最先进的性能。

    Nov, 2023

  • iNVS：借用扩散修复算法实现新视角生成

    从单一源图像生成一致的新视图的方法，利用单目深度估计器将源视图的可见像素转移到目标视图，并通过基于外极线的新的屏蔽机制进一步改善方法的质量，从而在各种对象上实现零样本新视图合成。

    Oct, 2023

  • 即时重建：使用单视图深度预测器作为先验信息为稀疏地图进行修补

    该研究介绍了一种实时图像引导的 inpainting 方法，以有任意尺度和稀疏度的地图作为输入，使用单视角深度预测网络作为虚拟深度传感器生成一个完全密集的深度图像。

    May, 2018

  • 基于上下文的图像修复：推断、匹配和翻译

    本文提出了一种基于深度神经网络和纹理传播的学习方法来完成图像修复，通过分离任务为推理和翻译两个步骤并用简单的启发式算法指导局部纹理从边界到空洞的传播，我们证明了我们的方法在几个公共数据集上能够产生比以前的最先进方法更高质量的视觉结果。

    Nov, 2017

  • 视频外绘的分层掩码三维扩散模型

    视频外延的研究中，我们引入了一种基于遮罩的三维扩散模型，在保持填充区域的时间连续性方面，通过使用遮罩建模技术训练模型，利用多个引导帧连接多个视频剪辑推理结果，确保了时间连续性，并减少相邻帧之间的抖动。另外，我们通过交叉注意力，以全局帧为提示，引导模型获取当前视频剪辑之外的信息。同时，我们还引入了混合的由粗到细的推理流程来缓解伪影积累问题，与现有的只使用填充策略的由粗到细流程不同，我们的流程可以通过遮罩建模的双向学习，在生成稀疏帧时采用填充与插值的混合策略。实验证明我们的方法在视频外延任务中实现了最先进的结果。更多结果请参阅我们的此 URL。

    Sep, 2023