Jan, 2024

RPNR: 鲁棒感知神经胶片重新上色

PDF
TL;DR我们使用深度图像先验网络（DIP）和鲁棒特征提取网络，通过只使用两个图像在目标环境中以一致的方式渲染源片段，实现了在需求背景下插入所需对象的方法。与基准方法（如剪切和粘贴、剪切和粘贴神经渲染、图像协调等）相比，我们的方法不需要配对标记的数据和大量训练数据，通过定性指标进行了比较。
augmented reality3d objectsillumination modeldeep image prioru-net architecture
发现论文，激发创造
  • 深度照明网络：图像光源操作

    本文提出一种基于深度学习的图像重照明网络，包括场景重建、阴影先验估计和渲染器，能够在无需几何结构信息的情况下使图像在新的光源方向下重照明，并在 AIM2020 - Any to one relighting challenge 中取得最佳 PSNR 的成果。

    Aug, 2020

  • 神经网络重建形状、材质和光照

    本文提出了一种强大的物体重建流程，以神经网络和基于物理反演的渲染相结合，可从二维图像中重建物理世界中对象的形状和在空间上变化的表面外观以及其周围的照明，并通过实验证明了该流程在质量和性能方面优于现有的重建方法。

    Apr, 2023

  • 通用反射光度立体的神经反渲染

    本研究提出了一种用于光度立体图像的卷积神经网络结构，通过物理学建模的无监督学习框架，可以进行表面法线和反射率预测，并且在实际场景中达到了最先进的性能表现。

    Feb, 2018

  • 神经预积分光照反射分解

    本文提出了一种新颖的反射率分解网络，通过使用 Neural-PIL 替换昂贵的照明积分操作和使用平滑流形自编码器学习深度低维表现，实现了物体图像的形状、BRDF 和每个图像的照明的估计，得到的分解结果可有效地提高 BRDF 和光估计的准确性，实现更准确的新视图合成。

    Oct, 2021

  • 基于物理的单图像室内场景光照编辑

    本文提出了一种使用神经渲染框架的方法，通过利用预测的深度数据和光源分割掩模，从单个图像中编辑复杂室内照明，解决了通过局部 LDR 场景观察从而对 HDR 照明进行建模和分离的难题，其特点在于综合使用场景重建和参数化 3D 照明的方法。

    May, 2022

  • 从单张图片中神经逆向渲染室内场景

    本文提出了一种基于学习的逆向渲染方法，通过构建 Residual Appearance Renderer（RAR）来综合估计户内场景的反射率、法线和照明，使用基于物理的渲染技术创建了大规模的合成数据集。实验结果表明，该方法优于已有的估计一种或多种场景属性的最先进方法。

    Jan, 2019

  • 点重采样与射线转换辅助可编辑的 NeRF 模型

    我们提出了一种基于 NeRF 的编辑任务方法，通过隐式光线变换策略和不可区分的神经点重采样（DNR）模块来解决物体移动和填补空白区域的挑战，构建了一个点云可编辑的 NeRF 系统 PR^2T-NeRF，实验结果表明我们的系统在物体移动和填补任务中具有最先进的性能，并且能够提供高质量渲染可视化效果。

    May, 2024

  • IGNOR: 图像引导物体显式

    我们提出了一种基于学习的图像引导渲染技术，结合了基于图像的渲染和基于 GAN 的图像合成的优点，旨在生成虚拟和增强现实应用程序的重建对象的逼真重新渲染，一个我们工作的核心组件是处理视点相关效应，我们在方案中直接训练一种特定于对象的深度神经网络合成对象的视点相关外观。

    Nov, 2018

  • 3D-R2N2：单视角和多视角三维物体重建的统一方法

    使用深度学习方法，构建一个名为 3D-R2N2 的递归神经网络结构，使用大量的合成数据将图像映射到对应的 3D 形状，无需图像注释或对象分类标签，可以在缺乏纹理或宽基线的情况下，实现对象的 3D 重建，并在单视图重建方面优于现有的最先进方法。

    Apr, 2016

  • AR-NeRF: 使用光圈渲染神经辐射场从自然图像中无监督学习深度和景深效应

    本文提出了一种基于光圈渲染神经辐射场 (AR-NeRF) 的方法，该方法能够在统一的射线跟踪框架中利用视点和景深线索，以无监督的方式学习深度和景深效果，为少视点数据集提供了潜在的应用。

    Jun, 2022