CVPRMar, 2022

用于实时渲染可编辑自由视角下的人体表现的 UV 体素

PDF
TL;DR该研究提出了一种名为 UV Volumes 的新方法，利用 2D 的神经纹理堆栈来分离高频（即非平滑）人类外貌和 3D 体积，并用较小和更浅的神经网络在三维中获得密度和纹理坐标，从而实时渲染可编辑的自由视角视频，可以用于 VR / AR 应用，并且具有重新贴图等有趣应用。
neural volume renderingfree-view videoreal-timeeditabletexture coordinates
发现论文，激发创造
  • NeuralHumanFVV：使用 RGB 相机进行实时神经体积人表现渲染

    本文提出了一种名为 NeuralHumanFVV 的实时神经人体表演捕捉和渲染系统，采用分层采样策略以及新颖的神经混合方案，能够在新视角下生成高质量的几何和逼真的贴图结果，实现了高质量的四维重建和逼真的自由视点重建。

    Mar, 2021

  • 在复杂的人物 - 物体交互下进行神经自由视角性能渲染

    本论文提出了一种神经人体表现捕捉和渲染系统，以实现高质量的几何和逼真的纹理重建，尤其是在挑战性的人体物体交互场景下。通过执行分层场景解耦策略，同时进行体积重建和神经渲染人和物体，提出了交互感知的人 - 物捕捉方案，同时提出了以人为重点的物体跟踪，在自由视点下实现了高质量的几何和纹理重建。

    Aug, 2021

  • UVA: 面向视角合成、姿势渲染、几何和纹理编辑的统一体积化身

    本文提出了一种新方法，名为 UVA, 用于人体化身重建；该方法实现了对几何形状和纹理的本地和独立编辑，并保持了对新视角和姿态的生成和渲染能力。

    Apr, 2023

  • 自由视点 RGB-D 人体表演捕捉和渲染

    提出了一种利用低成本深度相机从单视角和稀疏 RGB-D 传感器中捕获任意人物，并从未见过的视角生成逼真渲染的视图合成框架。该方法可重建面部表情，具有良好的鲁棒性和高质量的渲染效果，优于之前的视图合成方法。

    Dec, 2021

  • 学习动态人体的神经体积表示，仅需数分钟

    本文提出了一种从稀疏视角视频中学习动态人体神经体积视频的新方法，通过使用新的部分基于体素的人体表示法和二维运动参数化方案来提高模型的表现力和收敛速度，实验表明该模型与传统优化方法相比，在渲染质量上有竞争力，但学习速度更快。

    Feb, 2023

  • NeuTex: 用于体积神经渲染的神经纹理映射

    该研究介绍了一种通过将几何图形和外观区分开来的方法，使用体积场景表示和可微分体积渲染，利用表面参数化网络以及循环一致性损失等技术，生成高质量的渲染结果，且可直接通过编辑 2D 纹理贴图来修改外观。

    Mar, 2021

  • 基于神经网络点的体积化头像：表面引导神经点用于高效和逼真的体积化头像

    提出一种将神经点表示和神经体渲染结合的方法，使用高分辨率 UV 位移贴图约束神经点来实现更准确的表情控制，通过使用 GEP 射线采样策略和轻量级辐射解码过程，提高了渲染和训练效率。在 Multiface 数据集上通过实验验证了该方法的有效性。

    Jul, 2023

  • 基于神经动态网格的人类表现建模与渲染

    本文提出了一种综合的神经方法，用于从密集的多视角视频中重建、压缩和渲染人类表演。该方法桥接了传统的动画网格工作流和一类高效的神经技术，其中包括神经表面重构器和混合神经跟踪器，并实现了各种带宽设置下的从动态纹理到光图渲染的渲染方案，展示了其在各种网格应用和各种平台的逼真自由视点体验中的有效性。

    Sep, 2022

  • 即时神经体积渲染：从单目 RGBD 流进行人 - 物体交互

    本文提出了 Instant-NVR，一种利用单个 RGBD 相机进行即时容积式人物 - 物体跟踪和渲染的神经方法。该方法在采用高鲁棒性的捕获方案提供足够运动先验的同时，通过多线程跟踪 - 渲染机制，将传统的非刚性跟踪与最近的实时辐射场技术联系起来。本文还介绍了一个在线关键帧选择方案和一个渲染感知的细化策略，以显著提高在线新视角综合的外观细节。

    Apr, 2023

  • DeepHuman：从单张图像重建 3D 人体

    提出了一种用于从单个 RGB 图像进行 3D 人体重建的基于图像引导的体积到体积的转换 CNN，通过 SMPL 模型生成密集的语义表示来减少与表面几何重建相关的歧义，将不同尺度的图像特征融合到三维空间中，并通过法线细化网络来进一步提高可见面细节的精度，使用所提出的体积法向投影层将其连接到体积生成网络中，并使用其中包含的 3D 真实世界人体模型数据集进行训练，实验表明该方法在前沿方法中表现优异。

    Mar, 2019