Jan, 2024

神经渲染及其硬件加速：综述

PDF
TL;DR神经渲染是一种基于深度学习的新型图像和视频生成方法，将深度学习模型与计算机图形学的物理知识相结合，以获得可控和逼真的场景模型，并实现对光照、相机参数、姿态等场景属性的控制。本文回顾了神经渲染的技术内涵、主要挑战和研究进展，在此基础上分析了神经渲染流程对硬件加速的常见需求和当前硬件加速架构的特点，并讨论了神经渲染处理器架构的设计挑战，最后展望了神经渲染处理器架构的未来发展趋势。
发现论文，激发创造
  • 神经渲染的现状

    本文是对神经渲染发展趋势和应用的一篇最新综述，该技术结合了计算机图形学和深度生成模型，以生成可控、逼真的输出，包括新视图综合、语义照片操纵、人脸和身体再现、重新照明、自由视角视频以及用于虚拟和增强现实遥感的逼真头像的创建等方面。我们还讨论了这种技术的社会影响和未来研究方向。

    Apr, 2020

  • 神经渲染技术进展

    该论文综述了近年来神经渲染领域的进展，重点介绍了将经典渲染原则与学习得到的 3D 场景表示相结合的方法，包括静态场景处理和非刚性变形物体建模等。

    Nov, 2021

  • 基于神经动态网格的人类表现建模与渲染

    本文提出了一种综合的神经方法，用于从密集的多视角视频中重建、压缩和渲染人类表演。该方法桥接了传统的动画网格工作流和一类高效的神经技术，其中包括神经表面重构器和混合神经跟踪器，并实现了各种带宽设置下的从动态纹理到光图渲染的渲染方案，展示了其在各种网格应用和各种平台的逼真自由视点体验中的有效性。

    Sep, 2022

  • 放射探测器和成像的神经网络方法

    最近在图像数据处理方面的研究进展表明，通过机器学习，尤其是深度神经网络（DNNs）的使用，可以通过数据驱动的人工智能为辐射探测器和成像设备提供新的优化和性能增强方案。我们概述了光子源的数据生成、基于深度学习的图像处理方法以及深度学习加速的硬件解决方案。目前大多数现有的深度学习方法是离线训练的，通常需要大量的计算资源。然而，一旦训练完成，DNNs 可以实现快速推理速度，并且可以部署到边缘设备上。边缘计算是一种新趋势，它具有较低的能量消耗（数百瓦或更少）和实时分析能力。虽然以往通常用于边缘计算的基于电子的硬件加速器（从中央处理器（CPU）到应用特定集成电路（ASICs）的通用目的处理器）正不断接近性能极限，在延迟、能量消耗和其他物理约束方面存在限制。这些限制催生了下一代模拟神经形态硬件平台，如光学神经网络（ONNs），用于高并行、低延迟和低能量计算，以提高深度学习加速。

    Nov, 2023

  • 延迟神经渲染：使用神经纹理进行图像合成

    通过引入 Deferred Neural Rendering 和 Neural Textures，本文提出一种新的渲染模型，可以快速准确地合成出高质量的视觉效果，即使输入的 3D 内容不完整嘈杂，同时可以在多个应用领域内进行使用，例如在新颖的视角合成，场景编辑和面部复制等方面。

    Apr, 2019

  • 野外神经渲染

    本研究通过对旅游地标的网络照片进行传统 3D 重建，将场景逼近为一个点云，并在每张照片上进行重新渲染。使用神经网络学习初始渲染到实际照片的映射，还考虑到短暂物体的位置以进行场景修正。通过多个公共数据集的评估，展示了场景外观和语义标签的真实操作。与之前的场景重建工作进行了比较。

    Apr, 2019

  • 神经资产：交互环境下的体积对象捕捉与渲染

    本研究提出了一种使用神经渲染的方法，利用新颖的神经表征重构对象的透明部分，并保留物体的逼真外观，使用非常高效的着色器代码支持实时渲染，并通过标准的着色器代码生成，实现与现有硬件和软件系统的无缝集成。

    Dec, 2022

  • LookinGood: 实时神经再渲染技术提升表现捕捉

    该论文介绍了一种基于神经渲染的深层结构，可以在实时中进行补全、超分辨率、去噪，取得高质量图像，适用于虚拟和增强现实头盔，大大改善了用户的使用体验。

    Nov, 2018

  • NeuFace: 多视角图像实现真实 3D 神经面部渲染

    论文提出了一种名为 NeuFace 的新型 3D 面部渲染模型，可以通过神经渲染技术学习准确和具有物理意义的底层 3D 表示。

    Mar, 2023

  • 神经渲染发型

    提出一种使用神经网络的头发渲染流程，通过共享潜在空间编码两个领域的外观不变结构信息生成逼真的渲染图像，并使用简单而有效的时间条件方法，可以在未经监督的情况下工作于任意头发模型，并在大量肖像上测试，得出其优于替代方案和最先进的无监督图像翻译方法的结论。

    Apr, 2020