Aug, 2023

AR 室内场景的实时光估计与神经软阴影

PDF
TL;DR我们提出了一个用于将虚拟对象逼真地嵌入到室内场景中的流程，重点关注实时增强现实应用。我们的流程包括两个主要组件：光估计器和神经软阴影纹理生成器。我们的光估计基于深度神经网络，确定主光方向、光颜色、环境颜色和阴影纹理的不透明度参数。我们的神经软阴影方法将基于物体的逼真软阴影编码为与光方向相关的纹理，存储在一个小型的多层感知机中。我们展示了我们的流程可以在实时中将对象融入增强现实场景中，实现新的逼真程度。我们的模型足够小，可以在现有的移动设备上运行，我们在 iPhone 11 Pro 上实现了 9ms 的光估计和 5ms 的神经阴影运行时间。
发现论文，激发创造
  • PointAR：移动增强现实的高效照明估计

    本篇论文提供了一个适用于现代移动设备的高效照明估计流程，称为 PointAR。该方法基于点云，可用于支持空间变异的室内照明，具有与移动特定 DNN 相当的资源复杂度。PointAR 具有比现有方法更低的光照估计误差。

    Mar, 2020

  • 基于物体的，考虑渲染的神经网络光照估计

    提出了一种方法，通过逆向渲染的物理原理来约束解决方案，同时利用神经网络来增强处理的计算能力，以提高对嘈杂输入数据的鲁棒性并实现高精度的目标物体光照估计，从而在 AR 情境下实现真实感增强。

    Aug, 2020

  • 室内可编辑照明估算

    本文提出了一种从单个视角图像中估算室内场景照明的方法，该方法估算出易于编辑的参数化光源，并结合高频信息的非参数纹理，实现宏观阴影和细节表面反射的逼真渲染效果。定量和定性结果表明，该方法简化了室内照明估算过程，同时仍能产生竞争性的结果。

    Nov, 2022

  • 基于实时增强现实的 HDR 环境图估计

    该研究提出了一种基于卷积神经网络的方法，能够实时从狭窄的 LDR 相机图像估计 HDR 环境映射，从而在增强现实中呈现任何材质表面的虚拟物体的感性吸引的反射和着色，此算法比现有技术将光源方向估计的误差降低了 50% 以上，FID 也获得了 3.7 倍的降低。

    Nov, 2020

  • 使用可微分虚拟物体插入的神经光场估计技术应用于城市场景

    本文提出一种用于户外场景的光照估计的深度学习方法，并通过建立一个包含 HDR 天空穹、基于体积渲染的光照模型和可微分的物体插入式训练框架，实现了对具有阴影的物体完全可微的插入和渲染，为自动驾驶应用提供了更真实的增强数据。

    Aug, 2022

  • 快速的空间变化室内照明估计

    本研究提出了一种实时方法来从单个 RGB 图像估计空间变化的室内照明，使用一个 CNN 模型，它可以在少于 20ms 的时间内在笔记本电脑移动图形卡上预测给定位置处的照明情况，并且不需要任何几何信息，可以直接用于增强现实应用，可以实时在场景中的任何位置更改虚拟物体的光照效果。经过定量实验和用户研究，我们的方法比现有方法具有更低的照明估计误差和更好的用户体验。

    Jun, 2019

  • 基于物理的单图像室内场景光照编辑

    本文提出了一种使用神经渲染框架的方法，通过利用预测的深度数据和光源分割掩模，从单个图像中编辑复杂室内照明，解决了通过局部 LDR 场景观察从而对 HDR 照明进行建模和分离的难题，其特点在于综合使用场景重建和参数化 3D 照明的方法。

    May, 2022

  • 一种实时插入虚拟物体到神经辐射场的方法

    我们提出了第一个实时方法，用于将刚性虚拟对象插入到神经辐射场中，它能够产生逼真的光照和阴影效果，并且允许对对象进行交互操作。通过利用 NeRF 中有关光照和几何的丰富信息，我们的方法克服了增强现实中对象插入的几个挑战。对于光照估计，我们产生了精确、稳健和具有三维空间变化的入射光，结合了 NeRF 的近场光照和环境光，以考虑 NeRF 未覆盖的光源。对于遮挡，我们使用从 NeRF 中整合的不透明度图将渲染的虚拟对象与背景场景混合。对于阴影，我们使用一个预计算的球形符号距离场查询视点周围的任意点的可见性，并在三维表面上投射软、详细的阴影。与现有技术相比，我们的方法能够以更高的保真度将虚拟对象插入场景中，并有很大潜力进一步应用于增强现实系统。

    Oct, 2023

  • 深度参数室内光线估计

    提出了一种利用深度神经网络从单张室内场景图片中估算光照的方法，利用离散化的 3D 灯光几何和光度参数进行表征，并证明该方法比以往方法更加精确并能支持空间变化光照的三维物体合成。

    Oct, 2019

  • 时空一致的室内 HDR 照明估计

    该研究提出了一种物理动机的深度学习框架，可以解决室内光照估计的问题，通过 SGLV、体积光线跟踪、混合网络、 Monte-Carlo 渲染层和 RNN 等多种技术手段，其可以在单张图片或视频序列上预测整个场景下的光照，达到高质量、实时、高度真实感的场景光照预测和增强渲染。

    May, 2023