Aug, 2023

O^2-Recon：利用预训练的 2D 扩散模型完成场景中被遮挡物体的 3D 重建

PDF
TL;DR本文提出了一个新颖的框架，利用基于扩散的 2D 修复模型，通过填补物体隐藏部分的 2D 图像来重建完整的表面，以及通过神经隐式表面表示优化每个实例的 3D 重建。实验结果表明，我们的方法在从 RGB-D 视频中进行物体级重建时达到了最先进的准确性和完整性。
occlusion3d reconstructionin-painting modelneural implicit surface representationsemantic consistency loss
发现论文，激发创造
  • 从 RGB-D 数据中重构带有遮挡的 3D 人体姿势

    通过对场景信息和先前知识进行建模，我们提出了一种新的方法来从 RGB-D 图像中重建带有遮挡的 3D 人体，通过建模可能的姿势空间并使用深度数据约束可见身体部分，我们的方法在 PROX 数据集上的实验结果表明，与其他方法相比，能够产生更准确和合理的结果。

    Oct, 2023

  • RenderDiffusion：用于 3D 重建、修补与生成的图像扩散

    本文提出了 RenderDiffusion，这是第一个用于 3D 生成和推断的扩散模型，使用仅有的单眼 2D 监督进行训练，并采用新颖的图像去噪架构进行中间的三维表示，以提供强烈归纳结构，同时仅需要 2D 监督。我们在 FFHQ、AFHQ、ShapeNet 和 CLEVR 数据集上评估了 RenderDiffusion，展示了生成 3D 场景和从 2D 图像中推理 3D 场景的竞争性表现。此外，我们的扩散型方法还使我们能够使用 2D 修复来编辑 3D 场景。

    Nov, 2022

  • 利用 4D 神经场揭示遮挡物

    这篇论文介绍了一种从单目 RGB-D 学习 4D 视觉表示估计的框架，通过将点云编码成连续表示，该模型能够在时空上跨越上下文从而解决遮挡问题，实验证明这种方法可以成功地处理遮挡问题，并自动学习跟随遮挡物体的注意机制，可以用于许多视频理解任务。

    Apr, 2022

  • OccFusion：利用生成扩散先验渲染被遮挡的人体

    利用高效的 3D 高斯喷粒方法，由预训练的 2D 扩散模型进行监督，提出了 OccFusion，一种用于高效和高保真度人体渲染的方法。通过三个阶段的流程，即初始化阶段、优化阶段和改进阶段，实现了对人体的完整渲染，并在实验中表现出了在渲染遮挡人物方面具有领先水平的性能。

    Jun, 2024

  • 基于时空特征的遮挡像素重建端到端框架用于改进行人再识别

    本研究提出了一种有效的 RGB 图像 / 视频的遮挡检测和重建框架，采用卷积神经网络进行遮挡检测，Conv-LSTM 和自编码器用于重建遮挡帧和使用条件生成对抗网络微调和修复重建的 RGB 帧，通过与其他先进技术比较分析，我们的方法在各种数据集上展现出鲁棒性，成为现实生活监控系统应用的优秀选择。

    Apr, 2023

  • iNVS：借用扩散修复算法实现新视角生成

    从单一源图像生成一致的新视图的方法，利用单目深度估计器将源视图的可见像素转移到目标视图，并通过基于外极线的新的屏蔽机制进一步改善方法的质量，从而在各种对象上实现零样本新视图合成。

    Oct, 2023

  • Inpaint3D: 使用 2D 修复扩散生成 3D 场景内容

    本文介绍了一种新颖的方法，通过将 2D 扩散模型提炼为学习的 3D 场景表示（例如 NeRF），对给定的有掩模的多视图图像进行 3D 区域修补。

    Dec, 2023

  • 幕后之幕：通过遮挡面完善增强室内 3D 场景重建

    利用深度读数完成室内三维重建和填充被遮挡表面的新方法，通过学习现有完整场景的三维几何先验推断未知场景的遮挡几何，提出了粗细层级的八叉树表示方法以及包含地理解码器和三维修复器两个部分的双解码器架构，显著提升三维重建的完整性。

    Apr, 2024

  • 利用扩散模型改进 2D-3D 稠密对应关系以提高 6D 物体姿态估计

    比较了基于 GAN 和扩散模型的图像翻译网络在 6D 物体姿态估计任务中的表现，结果表明扩散模型优于 GAN，揭示了进一步改进物体姿态估计模型的潜力。

    Feb, 2024

  • 视频外绘的分层掩码三维扩散模型

    视频外延的研究中，我们引入了一种基于遮罩的三维扩散模型，在保持填充区域的时间连续性方面，通过使用遮罩建模技术训练模型，利用多个引导帧连接多个视频剪辑推理结果，确保了时间连续性，并减少相邻帧之间的抖动。另外，我们通过交叉注意力，以全局帧为提示，引导模型获取当前视频剪辑之外的信息。同时，我们还引入了混合的由粗到细的推理流程来缓解伪影积累问题，与现有的只使用填充策略的由粗到细流程不同，我们的流程可以通过遮罩建模的双向学习，在生成稀疏帧时采用填充与插值的混合策略。实验证明我们的方法在视频外延任务中实现了最先进的结果。更多结果请参阅我们的此 URL。

    Sep, 2023