Apr, 2020

神经渲染的现状

PDF
TL;DR本文是对神经渲染发展趋势和应用的一篇最新综述，该技术结合了计算机图形学和深度生成模型，以生成可控、逼真的输出，包括新视图综合、语义照片操纵、人脸和身体再现、重新照明、自由视角视频以及用于虚拟和增强现实遥感的逼真头像的创建等方面。我们还讨论了这种技术的社会影响和未来研究方向。
neural renderingcomputer graphicsdeep generative modelsimage synthesismachine learning
发现论文，激发创造
  • 神经渲染技术进展

    该论文综述了近年来神经渲染领域的进展，重点介绍了将经典渲染原则与学习得到的 3D 场景表示相结合的方法，包括静态场景处理和非刚性变形物体建模等。

    Nov, 2021

  • 神经渲染及其硬件加速：综述

    神经渲染是一种基于深度学习的新型图像和视频生成方法，将深度学习模型与计算机图形学的物理知识相结合，以获得可控和逼真的场景模型，并实现对光照、相机参数、姿态等场景属性的控制。本文回顾了神经渲染的技术内涵、主要挑战和研究进展，在此基础上分析了神经渲染流程对硬件加速的常见需求和当前硬件加速架构的特点，并讨论了神经渲染处理器架构的设计挑战，最后展望了神经渲染处理器架构的未来发展趋势。

    Jan, 2024

  • IGNOR: 图像引导物体显式

    我们提出了一种基于学习的图像引导渲染技术，结合了基于图像的渲染和基于 GAN 的图像合成的优点，旨在生成虚拟和增强现实应用程序的重建对象的逼真重新渲染，一个我们工作的核心组件是处理视点相关效应，我们在方案中直接训练一种特定于对象的深度神经网络合成对象的视点相关外观。

    Nov, 2018

  • NeuFace: 多视角图像实现真实 3D 神经面部渲染

    论文提出了一种名为 NeuFace 的新型 3D 面部渲染模型，可以通过神经渲染技术学习准确和具有物理意义的底层 3D 表示。

    Mar, 2023

  • 延迟神经渲染：使用神经纹理进行图像合成

    通过引入 Deferred Neural Rendering 和 Neural Textures，本文提出一种新的渲染模型，可以快速准确地合成出高质量的视觉效果，即使输入的 3D 内容不完整嘈杂，同时可以在多个应用领域内进行使用，例如在新颖的视角合成，场景编辑和面部复制等方面。

    Apr, 2019

  • 基于神经动态网格的人类表现建模与渲染

    本文提出了一种综合的神经方法，用于从密集的多视角视频中重建、压缩和渲染人类表演。该方法桥接了传统的动画网格工作流和一类高效的神经技术，其中包括神经表面重构器和混合神经跟踪器，并实现了各种带宽设置下的从动态纹理到光图渲染的渲染方案，展示了其在各种网格应用和各种平台的逼真自由视点体验中的有效性。

    Sep, 2022

  • 野外神经渲染

    本研究通过对旅游地标的网络照片进行传统 3D 重建，将场景逼近为一个点云，并在每张照片上进行重新渲染。使用神经网络学习初始渲染到实际照片的映射，还考虑到短暂物体的位置以进行场景修正。通过多个公共数据集的评估，展示了场景外观和语义标签的真实操作。与之前的场景重建工作进行了比较。

    Apr, 2019

  • 大场景实时神经光栅化

    我们提出了一种逼真的实时小说视角综合（NVS）大场景的新方法，通过将中等质量的脚手架网格作为输入，学习神经纹理场和着色器以增强逼真感，同时使用标准图形管道进行实时渲染，我们的方法在大型自动驾驶和无人机场景中提供至少 30 倍更快的渲染速度与可比或更好的逼真度，我们的工作是首次实现大型真实世界场景的实时渲染。

    Nov, 2023

  • 神经透视图渲染

    采用高容量神经场景表示和周期激活联合优化场景的隐式表面和辐射场的神经渲染管道，加速了现有技术水平的神经体积渲染，实现了与传统图形管道兼容的隐式表面表示，并实现了与其他表面方法相比具有前所未有的图像质量。

    Mar, 2021

  • 基于卷积神经网络的室内场景理解的物理渲染

    本研究介绍了一个大规模的合成数据集，该数据集包括来自 4.5k 个室内场景的 40 万张基于物理的渲染图像，研究了不同的渲染方法和场景照明对深度学习算法在表面法线预测、语义分割和物体边界检测三个计算机视觉任务中的影响，并表明，使用这个新的合成数据集进行预训练可以提高所有三个任务的结果。

    Dec, 2016