将合成对象渲染到传统的照片中
本文提出了一种基于 3D 模型合成无限数量的训练图像的方法，以提升目标检测的分类性能。通过估计渲染参数，生成的图像不仅要外观与真实图像相似，而且要在训练目标检测器时使用相同的特征。结果表明，与传统方法不同的是，此方法可显著提高无人机、飞机和汽车检测的性能。
Nov, 2014
本文提出了一种基于深度学习的图像编辑系统，支持拖放插入物体、后期光照和景深编辑。通过一种全自动的技术实现从单张低动态范围照片恢复包括几何、光照、漫反射和相机参数在内的全面的三维场景模型。研究结果表明，这个系统可以产生令人信服的结果，达到需要大量用户交互的技术相同的真实感水平。
Dec, 2019
研究如何从 1 或多张图像中合成逼真的室内 3D 场景，采用了基于图像的 GAN 来直接映射成高分辨率的 RGB-D 图像，及在 VLN 训练中进行空间干扰以提高成功率。
Apr, 2022
本文提出了一种使用神经渲染框架的方法，通过利用预测的深度数据和光源分割掩模，从单个图像中编辑复杂室内照明，解决了通过局部 LDR 场景观察从而对 HDR 照明进行建模和分离的难题，其特点在于综合使用场景重建和参数化 3D 照明的方法。
May, 2022
该研究提出了一种反渲染模型，可以从一对仅捕获到的半透明物体的图像中，联合预测 3D 形状、可变反射率、均匀次表面散射参数和环境光照。研究者还使用了基于物理和神经渲染器来解决反渲染中的模糊问题，并构建了庞大的合成数据集来验证模型的有效性。
May, 2023
通过构建真实世界数据集，本文介绍了用于测量物体重建和渲染以实现换灯效果的方法，通过在多个环境中捕捉环境光照和真实图像，可以从一个环境中的图像重建物体，并对未见过的照明环境对渲染视图的质量进行定量分析，并通过对比基线方法和最新方法的测试结果，显示出新视点合成不能可靠地衡量性能。
Jan, 2024
本文提出了一种使用真实图像来训练、无需 3D 场景真值信息，通过可微分点云渲染器将潜在 3D 特征点云转换为目标视图输出图像，并通过细化网络解码来填补缺失区域的新型端到端模型，在测试时可以对潜在特征空间进行可解释的操作，可以生成高分辨率图像并推广到其他输入分辨率，将在 Matterport、Replica 和 RealEstate10K 数据集上优于基线和之前的工作。
Dec, 2019
本文提出了一种基于 NeRF 的新型管道，用于将物体 NeRF 插入场景 NeRF，实现新视角合成和逼真的光照重新调整，并支持物体之间的物理交互，如互相投射阴影，通过比较相机视角与光源视角之间的深度图并生成生动柔和的阴影，实现了逼真的光照重新调整效果。
Jun, 2024
本文提出了一种名为 PhotoScene 的框架，可以基于输入图像及与之大致对齐的 CAD 几何形态数据（自动重建或手动指定），构建具有高质量材质和相似照明的逼真数字孪生体。该框架采用过程材料图模型建模场景材料，可以优化图参数和纹理比例、旋转，以及场景光照度以最佳匹配输入图像。文中还对该技术进行了评估，并展示了该方法对于来自 ScanNet、SUN RGB-D 和证券照片的对象和布局重建可以重渲染出高质量、可完全照明的 3D 场景。
Jul, 2022