Dec, 2020

学习动态人头部的组合辐射场

PDF
TL;DR本文提出了一种新颖的 3D 组合表示方法，将离散和连续的体积表示方法相结合，结合了粗糙的网格动画代码和连续的学习场景功能，使用可区分的体积渲染来计算动态人头和上半身的新视图，并在使用仅 2D 监督时进行端到端的训练，实现了动态人头和上半身新视图综合的最新最佳结果。
neural rendering3d representationphoto-realistic renderingdynamic humansmachine learning
发现论文，激发创造
  • 单目 4D 面部头像动态神经辐射场重建

    使用动态神经辐射场模型重新构建并生成能够通过单目输入数据学习的场景表示，结合场景表示网络和低维可变形模型进行虚拟场景生成。

    Dec, 2020

  • NeRSemble: 人头多视角辐射场重建

    本研究提出了一种新的多视角摄影技术和动态神经放射场方法，可用于高保真度地重建人类头部，并从任意时间步长的新视角合成再渲染，并在实验中表现出优异的性能。

    May, 2023

  • 学习动态人体的神经体积表示，仅需数分钟

    本文提出了一种从稀疏视角视频中学习动态人体神经体积视频的新方法，通过使用新的部分基于体素的人体表示法和二维运动参数化方案来提高模型的表现力和收敛速度，实验表明该模型与传统优化方法相比，在渲染质量上有竞争力，但学习速度更快。

    Feb, 2023

  • 艺术家友好型可调光和可动画神经头部

    通过使用容积神经场，我们提出了一种新的方法来处理可重光和可动态化的神经头像，结合混合容积原始的动态化身方法以及轻量级硬件设置和新的架构，实现了在任何环境中重新照明的动态神经头像，甚至可以进行未见过的表情。

    Dec, 2023

  • BakedAvatar: 实时头像合成的神经场烘焙技术

    实时神经头像合成方法 BakedAvatar 可用于 VR/AR、远程呈现和视频游戏应用中，通过提取多层可变形网格和计算表情、姿势和视角相关的外观，将结果烘培为静态贴图以提高栅格化效率，并通过差分栅格化来优化贴图细节，从而在减少推理时间的同时生成与先进方法相当质量的合成结果。

    Nov, 2023

  • 使用神经辐射场表示场景进行视角合成

    本文介绍了一种使用深度神经网络进行视图综合和图像合成的方法，通过连续的体积场函数来优化复杂场景的视图，并在神经辐射场方面取得了最新的研究成果。

    Mar, 2020

  • 生成式神经关节辐射场

    提出使用 3D GAN 框架对人体或脸部特征进行辐射场生成，通过显式变形场将其变形为期望的姿势或表情，并展示了编辑生成体或脸部特征时显式变形训练过程在提高其质量方面的显著优势。

    Jun, 2022

  • VeRi3D：基于顶点的辐射场生成模型用于 3D 可控人体图像合成

    提出了 VeRi3D，一种基于顶点的生成型人体辐射场，通过使用 SMPL 的参数人体模板来实现顶点参数化，从而解决了学习人体生成模型的泛化能力和可控性问题，能够自由地控制相机姿态、人体姿态、形状，以及进行部分级别的编辑，实现了生成逼真的人体图像。

    Sep, 2023

  • 可编辑场景渲染的学习目标组合神经辐射场

    本研究提出了一种新型的神经场景渲染系统，在聚集和现实世界场景中学习对象组合的神经辐射场，具有编辑能力和高效处理能力，并通过新颖的双通道体系结构设计，得以在场景几何和外观以及独立于对象的可学习激活代码条件下训练各个独立目标。通过实验证明，该系统不仅在静态场景新视点综合方面具备优异性能，而且在对象级别编辑方面也能产生逼真的渲染效果。

    Sep, 2021

  • HumanNeRF：从稀疏输入高效生成人体辐射场

    HumanNeRF 是一种通用的神经表示方法，它沿着多视角输入引入了一个聚合像素对齐特征，并使用一种姿态嵌入的非刚性变形场来处理动态运动，进而通过外观融合模块进一步提高渲染质量，实现了在各种多视角动态人体数据集上合成具有照片般逼真的自由视角人类的高效和通用性。

    Dec, 2021