Apr, 2024

通用神经人体渲染器

PDF
TL;DR我们提出了一种学习通用神经人体渲染器（GNH）的挑战性方法，该方法可从单目视频中呈现可动人体，在没有任何测试时间优化的情况下，通过利用显式的身体先验和多视图几何将外观信息从输入视频传输到输出图像平面。我们的 GNH 通过三阶段的过程实现了非常强大的通用、逼真的渲染，显著超越了当前最先进方法，在 LPIPS 上实现了 31.3％的改进。
animatable human renderingtest-time optimizationgeneralizable neural human renderermonocular videophotorealistic rendering
发现论文，激发创造
  • 通用神经演算法：学习用于人类新视角合成的鲁棒辐射场

    使用深度学习技术，提出了一种名为 GNR 的通用神经演员框架，通过压缩轻场数据来从几何和外观方面生成新颖的视角下的人体影像，并在多视角摄像机下构建的数据集 GeneBody-1.0 上证明了其鲁棒性和通用性。

    Apr, 2022

  • 从单目视频生成可泛化的人类 NeRF

    通过单目视频学习可泛化的人类 NeRF 模型，引入了可见性感知的聚合方案来计算顶点特征，并利用注意机制进一步增强体积特征，用于预测采样点的密度和颜色，同时引入了表面引导采样策略以提高训练和推理的效率。在实验中验证了该方法在广泛使用的 ZJU-MoCap 数据集上的可比性，并在只使用单目视频的情况下，在单目 People-Snapshot 数据集上取得了比现有方法更好的性能。

    Aug, 2023

  • 从单目视频中神经捕捉可动画 3D 人体

    本文提出了一种基于动态神经辐射场和网格参数化三维人体模型的新方法，通过映射表征人体在不同姿势和角度的变化特征，实现了高质量渲染。

    Aug, 2022

  • 神经人类表现者：学习通用辐射场以进行人类表现渲染

    本研究提出了一种基于人体参数模型学习可泛化神经辐射场的新方法，使用稀疏多视角相机合成任意人类表演的自由视点视频，并在实验中取得了明显的优于以往 NeRF 方法的表现。

    Sep, 2021

  • MPS-NeRF：从多视角图像中渲染通用三维人体模型

    本文提出了一种简单而有效的方法，使用多视角图像作为条件输入，训练出适用于不同人的可泛化 NeRF，该方法的关键部分是将规范空间与输入和目标图像相连，并利用参数化的 3D 人体模型来导出变形，本方法在实现新视角合成和姿势动画任务方面表现出了很好的效果。

    Mar, 2022

  • PixelHuman: 从少量图像生成可动画的神经辐射场

    提出了 PixelHuman，一种新颖的人类渲染模型，可以从几张具有未知身份、视角和姿势的人的图像中生成可动画的人类场景，并通过神经辐射场和姿势感知像素对齐特征合成每个目标场景，在几张图像中实现了多视角和新颖姿势合成的最新性能。

    Jul, 2023

  • 基于神经动态网格的人类表现建模与渲染

    本文提出了一种综合的神经方法，用于从密集的多视角视频中重建、压缩和渲染人类表演。该方法桥接了传统的动画网格工作流和一类高效的神经技术，其中包括神经表面重构器和混合神经跟踪器，并实现了各种带宽设置下的从动态纹理到光图渲染的渲染方案，展示了其在各种网格应用和各种平台的逼真自由视点体验中的有效性。

    Sep, 2022

  • 人类演员视频的神经渲染及再现

    该研究提出了一种基于视频的真实人物动画生成方法，利用中等质量的可控 3D 模板模型和神经网络技术，成功实现了人物形象的逼真渲染和编辑。

    Sep, 2018

  • 通过学习动态纹理和视频渲染转换实现神经人类视频渲染

    本文介绍了一种新的人类视频合成方法，通过两个卷积神经网络（CNNs）明确分离 2D 屏幕空间中的人类嵌入和时间相干的细节，其中第一个 CNN 预测一个动态纹理映射，第二个 CNN 条件下第一个 CNN 的输出生成最终的视频。 该方法被应用于人类重演和单目视频的新视图合成等多个领域，并且在质量和数量方面都有显着的提高。

    Jan, 2020

  • 可动态调节的三维高斯：快速高质量地重建多个人体化身

    用动态的 3D 高斯人物场景在复杂运动和动态阴影中实现高质量的重建，具有较短的训练时间、绘制速度和重建质量。

    Nov, 2023