基于实时增强现实的 HDR 环境图估计
本文提出了一种基于学习的方法,通过手机相机拍摄的低动态范围图像推断出高动态范围、全方位光照。通过使用不同反射功能材料在单个曝光中显示不同的光照提示,我们训练深度神经网络从低动态范围背景图像回归到 HDR 照明。通过图像重照操作,我们与预测光照匹配,实现了渲染虚拟物体进入现实环境中。与现有技术相比,我们对自动曝光和白平衡视频进行训练,提高了室内外场景渲染对象的真实感。
Apr, 2019
该研究提出了一种物理动机的深度学习框架,可以解决室内光照估计的问题,通过 SGLV、体积光线跟踪、混合网络、 Monte-Carlo 渲染层和 RNN 等多种技术手段,其可以在单张图片或视频序列上预测整个场景下的光照,达到高质量、实时、高度真实感的场景光照预测和增强渲染。
May, 2023
本文提出了一个自动方法,通过使用一个有限的视野、低动态范围的室内场景的照片来推断高动态范围的照明。通过使用深度神经网络,我们训练了一个分类器来自动注释 LDR 环境地图中光源的位置,然后利用这些注释来预测场景中光的位置,从而 fine-tune 这个网络来预测每个光源的强度,可以自动获得高质量的 HDR 照明估计结果,从而可以实现逼真的照片级结果。
Apr, 2017
本文提出一种用于户外场景的光照估计的深度学习方法,并通过建立一个包含 HDR 天空穹、基于体积渲染的光照模型和可微分的物体插入式训练框架,实现了对具有阴影的物体完全可微的插入和渲染,为自动驾驶应用提供了更真实的增强数据。
Aug, 2022
提出了一个基于多曝光 LDR 特征的卷积神经网络架构 ArtHDR-Net,实验结果表明 ArtHDR-Net 在 HDR-VDP-2 评分(即平均意见评分指数)方面达到了最先进的性能,同时在 PSNR 和 SSIM 方面也具有竞争性能。
Sep, 2023
我们提出了一个用于将虚拟对象逼真地嵌入到室内场景中的流程,重点关注实时增强现实应用。我们的流程包括两个主要组件:光估计器和神经软阴影纹理生成器。我们的光估计基于深度神经网络,确定主光方向、光颜色、环境颜色和阴影纹理的不透明度参数。我们的神经软阴影方法将基于物体的逼真软阴影编码为与光方向相关的纹理,存储在一个小型的多层感知机中。我们展示了我们的流程可以在实时中将对象融入增强现实场景中,实现新的逼真程度。我们的模型足够小,可以在现有的移动设备上运行,我们在 iPhone 11 Pro 上实现了 9ms 的光估计和 5ms 的神经阴影运行时间。
Aug, 2023
本文提出了一种使用神经网络从单张 LDR 图像中预测 HDR 户外照明的方法,其核心是利用一种从任何天气条件下的 LDR 全景图精确学习 HDR 照明的方法。通过在合成和真实图像的组合上训练另一个 CNN 来实现以上方法,根据 Lalonde-Matthews 户外照明模型回归参数。该模型被训练来重建天空的外观,并呈现对象被此照明照亮后的外观。作者使用此网络标记了一个大规模的 LDR 全景数据集,并用它们来训练单张图像户外照明估计网络。实验证明,我们的全景和单张图像网络都优于现有技术,并且与先前的工作不同,能够处理从全晴天到阴天的各种天气状况。
Jun, 2019
本文提出了一个两阶段流程来解决增强现实头戴设备中遇到的观看体验不佳的问题,其中包括离线室内环境的三维重建和使用增强视角方法的增强渲染。通过实验和评估,我们发现基于几何的增强视角方法具有更好的渲染效果,并使用结构相似性指数(SSIM)和峰值信噪比(PSNR)等指标进行量化验证。
Apr, 2023
本文提出了一种基于注意力机制和子像素卷积操作的 CEN-HDR 神经网络,以及使用知识蒸馏进行网络压缩的高效训练方案,其在实现高质量获取的同时比现有解决方案更快,并可在实时约束下实际部署。在 Kalantari2017 数据集上,使用 Macbook M1 NPU 实现 33 FPS 的帧速率,得分为 43.04 mu-PSNR。
Feb, 2023
提出了一种方法,通过逆向渲染的物理原理来约束解决方案,同时利用神经网络来增强处理的计算能力,以提高对嘈杂输入数据的鲁棒性并实现高精度的目标物体光照估计,从而在 AR 情境下实现真实感增强。
Aug, 2020