CVPRApr, 2021

像素编解码头像

PDF
TL;DR本篇研究采用像素编码阿凡达（PiCA）作为一种深度生成模型，结合了卷积神经网络和自适应渲染的方法以实现在虚拟或增强现实中与逼真的人物形象进行面对面交流。实验表明，PiCA 比现有技术在不同性别和肤色的人物上的表情和视图的再现具有更好的表现，并且比当前基准模型更为紧凑，使得在单个移动 VR 头显上同时呈现 5 个人物形象成为可能。
telecommunicationphotorealistic avatarsvirtual realityaugmented realitydeep generative model
发现论文，激发创造
  • PVA：像素对齐的容积化身

    本文提出一种利用神经放射场和局部像素对齐特征预测人头部的体积化代理，可以在多身份环境中进行泛化，并且无需明确的 3D 监督。该方法在以光度渲染损失为基础的端到端训练中表现出更好的质量，并且能够生成真实的面部表情。

    Jan, 2021

  • 基于模块化编解码的表现性远程存在

    本文介绍一种基于摄像头驱动的模块化编解码头像（MCA）生成技术，能够 解决传统头像模型在表达面部表情和实时应用中存在的问题，从而在 VR 遥控应用方面有更好的应用。

    Aug, 2020

  • 自动 CARD: 面向实时移动遥控的高效稳健编解码头像驱动

    本文提出了一种名为 Auto-CARD 的框架，该框架通过最小化冗余源来启用仅使用设备计算资源时实时和鲁棒的 Codec 头像驱动，实现了在虚拟现实 / 增强现实中建立逼真的远程存在的可能性。

    Apr, 2023

  • AvatarMe：野外真实可渲染的三维面部重建

    本研究提出了 AvatarMe 方法，通过对大量面部形状和反射率数据的捕获从而建立一种能够逐步改善结果的 3D 纹理和形状重建方法，并生成所需的逐像素漫反射和反射组件，成功地从 “野外” 图像中重建真实的、4K x 6K 分辨率的 3D 面部，是第一次在这方面取得了显著进展。

    Mar, 2020

  • 现实的画布，语言的画笔：从单目视频中塑造 3D 头像

    ReCaLab 是一个可完全区分的流程，通过学习高保真度的三维人体化身，仅从单一的 RGB 视频中生成。

    Dec, 2023

  • 单目 RGB 视频生成神经头像

    我们提出了神经头像，该方法能够显式建模动画人物头像的表面几何形状和外观，是虚拟现实和其他电影或游戏应用中数字人物的一种有效表示方法，它能够从单目 RGB 人像视频中学习，能够精确地外推到未知姿态和观察角度，并产生自然的表情和清晰的纹理细节。

    Dec, 2021

  • 立体化头像即时生成

    本文提出即时体积头像 (INSTA) 的新方法，使用神经光辐射场对嵌入在参数化面部模型周围的神经图形原语进行建模，能够在不到 10 分钟的时间内通过单眼 RGB （红绿蓝）肖像视频构建数字头像，并实现新的姿势和表情的交互式渲染，并且在不同主题上量化和质量方面研究， INSTA 表现出比现有方法更优的渲染质量和训练时间。

    Nov, 2022

  • 快速为 VR 面部动画注册逼真的化身

    虚拟现实 (VR) 具有比其他媒体更具身临其境感的社交互动的潜力。关键在于能够在佩戴 VR 头显的同时准确地模拟一个逼真的个人化化身。本研究揭示了头显摄像头镜头与模型相差较大是导致实时模型性能下降的主要原因，并提出了一个系统设计，将问题分解为两部分：1) 一个迭代优化模块，处理同一领域的输入；2) 一个通用的以化身为导向的图像转换模块，以当前表情和头部姿态的估计为条件。这两个模块相互加强，通过展示接近真实的示例，使图像样式转换更容易，并改善领域差异移除。我们的系统高效地产生高质量的结果，不再需要昂贵的离线注册来生成个性化标签。通过在市售头显上进行大量实验证实了我们方法的准确性和效率，并在直接回归方法和离线注册上展现了显著的改进。

    Jan, 2024

  • 基于深度光照适应的 AR/VR 高保真人脸跟踪

    该论文提出了一种新的深度学习光照模型技术，结合高质量的 3D 人脸追踪算法，从普通视频中实现了微妙且稳健的面部动作转移到 3D 光照逼真的虚拟形象身上，解决了现有人物特定 3D 模型不稳健的问题，并在表情、姿势及光线变化等方面得到了广泛应用验证，成为可扩展的 AR/VR 通信系统的有效框架。

    Mar, 2021

  • 基于文本条件的语境化头像生成用于零样本定制化

    本文提出了一个零射击的管道，该管道可以通过捕捉用户的身份以令人愉悦的方式进行头像生成，具有个性化的图像生成特征，此外，作者使用大规模图像数据集学习人类 3D 姿态参数，克服了动作捕捉数据集的局限性。

    Apr, 2023