CVPRJun, 2021

PanoDR：室内球面全景减弱现实

PDF
TL;DR本研究提出一种结构感知的 Diminished Reality 模型，通过预测室内场景的结构来生成去除特定物体的场景，该方法在改进的 Structured3D 数据集上的测试中具有快速收敛速度和卓越表现。
diminished realitydata-driven inpaintingindoor scanningstructured3d datasetcounterfactual inpainting
发现论文，激发创造
  • DeepDR: 深度结构感知的 RGB-D 修复用于减弱现实

    Diminished reality 通过使用 inpainting 技术生成并纠正场景的图像和几何结构，DeepDR 框架在实时帧速率下运行，具有最小的时间伪影，并在复杂背景下重建锐利和一致的边界。

    Dec, 2023

  • Im2Pano3D：扩展 360° 视野结构和语义信息

    本论文提出了一种名为 Im2Pano3D 的卷积神经网络，该网络可以仅基于部分观察（<=50%），即 RGB-D 图像，为室内全景视图生成 3D 结构的稠密预测和语义标签的概率分布，其利用大规模合成和实际环境内部场景中学习到的强大的语境先验来实现。

    Dec, 2017

  • 沉浸式室内场景装饰的条件式 360 度图像合成

    本文提出一种用于 360 度图像的条件场景装饰方法，通过开发 360 度感知的物体布局生成器和生成对抗网络，实现对输入场景的各种家具布局生成，并通过用户研究证实了生成结果中的逼真图像质量和家具布局提供的沉浸式体验。

    Jul, 2023

  • 室内全景自动去除家具

    提出了一种利用稳定扩散的流程来改进室内全景图像中家具移除的修复结果，通过增加上下文、领域特定模型微调和改进的图像融合，产生几何可信的高保真修复效果，无需依赖于房间布局估计，展示了相对其他家具移除技术的定性和定量改进。

    May, 2024

  • 室内三维场景的简单有效合成

    研究如何从 1 或多张图像中合成逼真的室内 3D 场景，采用了基于图像的 GAN 来直接映射成高分辨率的 RGB-D 图像，及在 VLN 训练中进行空间干扰以提高成功率。

    Apr, 2022

  • 上下文感知分层深度修复的三维摄影

    提出一种将单个 RGB-D 输入图像转换成 3D 照片的方法，其中包含了多层的新视角综合结构，可以补全原始视角中被遮挡区域的缺失的颜色和深度信息，并经验证在各种现实场景中比现有技术实现更少的图像伪影。

    Apr, 2020

  • 移动减弱现实中的实时物体替换与边缘计算

    提出了一个用于移动设备的端到端架构，以促进沉浸式和实时场景构建。

    Oct, 2023

  • 室内场景的完整三维模型预测

    本文提出了一种基于数据驱动的方法解释室内场景，并利用 CAD 3D 模型表示场景中的物体和墙壁布局，最终在 NYU 数据集上呈现了令人鼓舞的结果。

    Apr, 2015

  • Dream360: 基于 Transformer 的多样化沉浸式室外虚拟场景创建的 360 图像拓展

    提出了一种基于变换器的 360 图像扩充框架 Dream360，可以从用户选择的视口生成多样、高保真、高分辨率的全景图，考虑了 360 图像的球面特性，并通过两个关键学习阶段（基于 Spherical-VQGAN 的编码本全景扩充和新颖的频率感知细化）实现了更大的扩充灵活性和保真度。

    Jan, 2024

  • 虚拟家居布置：在自然照明下逆向渲染和编辑室内全景

    我们提出了一种新颖的反渲染方法，可以在自然照明下将现有室内全景图转换为新的室内家具布局。通过拍摄室内 HDR 全景图和实时室外半球 HDR 照片，我们采集了室内和室外 HDR 图像，并根据测定的绝对亮度值进行线性校准以获得准确的场景重光。我们的方法包含三个关键部分：全景家具检测和去除、自动地板布局设计以及具有场景几何、新家具对象和实时室外照片的全局渲染。我们展示了我们的工作流程在不同室外照明条件下渲染室内场景的有效性。此外，我们还贡献了一个新的经过校准的 HDR（Cali-HDR）数据集，其中包含 137 个校准的室内全景图及其相应的室外照片。源代码和数据集可在此链接上获得：this https URL

    Nov, 2023