PhotoScene: 室内场景真实材质和照明迁移

CVPRJul, 2022

PhotoScene: 室内场景真实材质和照明迁移

PhotoScene: Photorealistic Material and Lighting Transfer for Indoor Scenes

Yu-Ying Yeh, Zhengqin Li, Yannick Hold-Geoffroy, Rui Zhu, Zexiang Xu...

TL;DR本文提出了一种名为 PhotoScene 的框架，可以基于输入图像及与之大致对齐的 CAD 几何形态数据（自动重建或手动指定），构建具有高质量材质和相似照明的逼真数字孪生体。该框架采用过程材料图模型建模场景材料，可以优化图参数和纹理比例、旋转，以及场景光照度以最佳匹配输入图像。文中还对该技术进行了评估，并展示了该方法对于来自 ScanNet、SUN RGB-D 和证券照片的对象和布局重建可以重渲染出高质量、可完全照明的 3D 场景。

Abstract

Most indoor 3D scene reconstruction methods focus on recovering 3D geometry and scene layout. In this work, we go beyond this to propose PhotoScene, a framework that takes input image(s) of a scene along with approximately aligned CAD geometry (either reconstructed automatically or manually specified) and builds a →

indoor scene 3d reconstruction photorealistic procedural material graphs relightable

发现论文，激发创造

基于物理的单图像室内场景光照编辑

本文提出了一种使用神经渲染框架的方法，通过利用预测的深度数据和光源分割掩模，从单个图像中编辑复杂室内照明，解决了通过局部 LDR 场景观察从而对 HDR 照明进行建模和分离的难题，其特点在于综合使用场景重建和参数化 3D 照明的方法。

May, 2022

PSDR-Room：利用可微渲染的单张照片生成场景

利用 PSDR-Room 系统，通过梯度下降来优化光照、物体姿态和材质，以使其与目标室内场景图像视觉上匹配，实现对室内场景中各组件的可编辑性。

Jul, 2023

PhotoShape: 大规模形状收集的真实感材质

利用图像引导并借助三种类型的在线数据，包括形状集合、物质集合、及照片集合，使用大规模 3D 形状集合自动分配高质量、逼真的外观模型，利用卷积神经网络在大量合成的渲染图像中训练材料分类，再通过 3D-2D 对齐技术将材料传输到每个形状的不同部位，从而生成光真实、可重新采光的 3D 形状（PhotoShapes)。

Sep, 2018

OpenRooms：用于照片级室内场景数据集的端到端开放框架

提出了一种创造大规模室内场景的照片级真实数据集的新框架，可提供外观、布局、语义标签、高质量变化自由的 BRDF 和复杂照明等显著真实的基准数据，可用于逆向渲染、场景理解和机器人学，与物理引擎结合可创建具有摩擦系数等真实场景对应关系的虚拟机器人环境。

Jul, 2020

三维室内场景语言引导的语义风格转移

本文介绍了一种语言引导的 3D 室内场景语义风格转移的方法，基于多层感知机，视觉语言模型，采用渲染和修正的方式实现创新，通过 ScanNet 数据集测试表明，语义信息的引入显著提高了风格转移的品质和用户评分。

Aug, 2022

室内三维场景的简单有效合成

研究如何从 1 或多张图像中合成逼真的室内 3D 场景，采用了基于图像的 GAN 来直接映射成高分辨率的 RGB-D 图像，及在 VLN 训练中进行空间干扰以提高成功率。

Apr, 2022

3D 物体合成的自动场景推断

本文提出了一种基于深度学习的图像编辑系统，支持拖放插入物体、后期光照和景深编辑。通过一种全自动的技术实现从单张低动态范围照片恢复包括几何、光照、漫反射和相机参数在内的全面的三维场景模型。研究结果表明，这个系统可以产生令人信服的结果，达到需要大量用户交互的技术相同的真实感水平。

Dec, 2019

将合成对象渲染到传统的照片中

提出一种能实现将合成物体逼真地插入到已有照片中的方法，仅需一幅图像和少量注释即可创建适用于逼真渲染合成物体的场景物理模型，经过用户研究证明合成图像与真实场景难以区分，并且对比其他插入方法都需要更少的场景信息和较高的逼真度，适用于影视和游戏行业，家庭装修和用户内容创建等领域。

Dec, 2019

场景条件下的三维物体风格化与组合

通过结合建模和优化对象的纹理和环境光照，本论文提出了一个框架，使得现有的 3D 资源能够适应给定的 2D 场景，同时生成一种真实感的组合效果，使得假定的对象能够放入该环境中。

Dec, 2023

Deep CG2Real: 通过图像分解进行合成到真实图像的转换

提出一种利用半监督方法，在图像的着色和反照率层上操作，训练半监督网络用于图片合成，该方法可以有效提高 OpenGL 渲染等低质量合成图像的视觉逼真度。该方法通过两个阶段的管道来实现，即首先以物理学渲染为目标以有监督的方式预测准确的着色，然后再采用改进的 CycleGAN 网络进一步提高纹理和着色的逼真度。在 SUNCG 室内场景数据集上进行的广泛评估表明，与其他最先进的方法相比，我们的方法可以产生更逼真的图像。此外，我们所生成的 “真实” 图像训练出的网络比领域适应方法预测出更精确的深度和法线，这表明提高图像的视觉逼真度可以比强加任务特定的损失效果更良好。

Mar, 2020