本研究提出了一种实时方法来从单个 RGB 图像估计空间变化的室内照明,使用一个 CNN 模型,它可以在少于 20ms 的时间内在笔记本电脑移动图形卡上预测给定位置处的照明情况,并且不需要任何几何信息,可以直接用于增强现实应用,可以实时在场景中的任何位置更改虚拟物体的光照效果。经过定量实验和用户研究,我们的方法比现有方法具有更低的照明估计误差和更好的用户体验。
Jun, 2019
我们提出了一个用于将虚拟对象逼真地嵌入到室内场景中的流程,重点关注实时增强现实应用。我们的流程包括两个主要组件:光估计器和神经软阴影纹理生成器。我们的光估计基于深度神经网络,确定主光方向、光颜色、环境颜色和阴影纹理的不透明度参数。我们的神经软阴影方法将基于物体的逼真软阴影编码为与光方向相关的纹理,存储在一个小型的多层感知机中。我们展示了我们的流程可以在实时中将对象融入增强现实场景中,实现新的逼真程度。我们的模型足够小,可以在现有的移动设备上运行,我们在 iPhone 11 Pro 上实现了 9ms 的光估计和 5ms 的神经阴影运行时间。
Aug, 2023
该研究提出了一种物理动机的深度学习框架,可以解决室内光照估计的问题,通过 SGLV、体积光线跟踪、混合网络、 Monte-Carlo 渲染层和 RNN 等多种技术手段,其可以在单张图片或视频序列上预测整个场景下的光照,达到高质量、实时、高度真实感的场景光照预测和增强渲染。
May, 2023
该研究提出了一种基于卷积神经网络的方法,能够实时从狭窄的 LDR 相机图像估计 HDR 环境映射,从而在增强现实中呈现任何材质表面的虚拟物体的感性吸引的反射和着色,此算法比现有技术将光源方向估计的误差降低了 50% 以上,FID 也获得了 3.7 倍的降低。
Nov, 2020
本文提出了一个两阶段流程来解决增强现实头戴设备中遇到的观看体验不佳的问题,其中包括离线室内环境的三维重建和使用增强视角方法的增强渲染。通过实验和评估,我们发现基于几何的增强视角方法具有更好的渲染效果,并使用结构相似性指数(SSIM)和峰值信噪比(PSNR)等指标进行量化验证。
Apr, 2023
本文提出了一种基于学习的方法,通过手机相机拍摄的低动态范围图像推断出高动态范围、全方位光照。通过使用不同反射功能材料在单个曝光中显示不同的光照提示,我们训练深度神经网络从低动态范围背景图像回归到 HDR 照明。通过图像重照操作,我们与预测光照匹配,实现了渲染虚拟物体进入现实环境中。与现有技术相比,我们对自动曝光和白平衡视频进行训练,提高了室内外场景渲染对象的真实感。
Apr, 2019
使用 EMLight 框架,将光照地图分解为球形光分布、光强度和周围环境项,并利用回归网络和神经投影仪进行精确的光照估计,该方法准确性高且比现有方法在 3D 对象嵌入中生成更具可信度和保真度的光照地图。
Dec, 2020
提出了一种利用深度神经网络从单张室内场景图片中估算光照的方法,利用离散化的 3D 灯光几何和光度参数进行表征,并证明该方法比以往方法更加精确并能支持空间变化光照的三维物体合成。
Oct, 2019
该论文提出了一种名为 “Neural Illumination” 的新方法,将光照预测分解成几个简单的不同 iable 子任务:几何估计、场景完成和 LDR-to-HDR 估计,并表明与以前的方法相比,该方法在定量和定性方面都得到了显着的改进。
提出了一种方法,通过逆向渲染的物理原理来约束解决方案,同时利用神经网络来增强处理的计算能力,以提高对嘈杂输入数据的鲁棒性并实现高精度的目标物体光照估计,从而在 AR 情境下实现真实感增强。
Aug, 2020