HandNeRF: 可交互手部的神经辐射场
这篇论文提出了一种可推广的可见性感知交互手部 NeRF(VA-NeRF)框架,通过利用可见性信息和改进的对抗学习,能够更好地还原具有交互的手部场景中不可见区域的特征,从而在 Interhand2.6M 数据集上取得显著的性能提升。
Jan, 2024
本文提出了可动态变化神经辐射场 (animatable NeRF) 的方法用于从单眼视屏中创建细节丰富的人物角色,通过引入显式姿势引导变形的方式学习场景表示网络扩展神经辐射场 (NeRF) 到带有人体运动的动态场景,并展示了该方法在人物几何和外观重建、真实感渲染和动画设计等方面取得了突破性成果。
Jun, 2021
基于 NeRF 的人体表演姿态依赖渲染的新方法,通过将辐射场围绕 SMPL 人体模型进行扭曲,实现了新的表面对齐表示,可以通过骨骼关节参数和视点来实现动画化,并通过引入新的重新映射过程来实现高质量渲染。
Nov, 2023
本文提出了神经辐射场用于人物运动的渲染和时空(4D)重建,该方法将神经场表示、新视角合成和隐式统计几何人类表示相结合,并应用于人类姿势识别和服装模拟。
Oct, 2021
本文提出了一种基于神经径向基方法的生成神经体模型,通过学习未标记的单目视频,在不需要地面真实标签的情况下,共同完善的姿势和体积身体形状和外观,有效改善了多样化数据集上的准确性,是对使用反向运动学的引入的一个重要贡献。
Feb, 2021
通过学习多视图图像中的人脸 NeRF 模型,我们解决了学习如何有效地捕捉眼球旋转以及构建表示眼球旋转的流形这两个关键问题。通过在 ETH-XGaze 数据集上进行实验,我们证明了我们的模型能够在新的视角下生成具有准确眼球旋转和非刚性外眼部变形的高保真图像,并且显示出利用渲染图像能够有效地提高凝视估计性能。
Aug, 2023
手 - 物体交互模型是三维计算机视觉中一项根本性的挑战任务。尽管在这一领域已取得了显著的进展,但现有方法仍无法实现逼真的手 - 物体交互合成,因为手和物体之间存在严重的互相遮挡和不准确的姿态估计所导致的渲染质量下降。为了解决这些挑战,我们提出了一种新颖的自由视点渲染框架,即神经接触辐射场(NCRF),用于从稀疏的视频集合中重建手 - 物体交互。尤其值得注意的是,我们的 NCRF 框架由两个关键组件组成:(a)接触优化场,用于从 3D 查询点预测准确的接触场,以实现手和物体之间的理想接触;(b)手 - 物体神经辐射场,用于在静态规范空间中学习隐式的手 - 物体表示,与专门设计的手 - 物体运动场结合以产生观察到规范的对应关系。我们共同学习这些关键组件,它们相互帮助并相互规范,通过视觉和几何约束生成高质量的手 - 物体重建,实现逼真的新视图合成。在 HO3D 和 DexYCB 数据集上进行了大量实验证明我们的方法在渲染质量和姿态估计准确性方面优于当前最先进的方法。
Feb, 2024
GHNeRF 是一种新颖的方法,通过学习 2D/3D 人体关节位置与 NeRF 表示来解决 3D 人体表示中缺乏的关键信息,以实现对人体生物力学特征的编码,并得到接近实时的最先进结果。
Apr, 2024
HumanNeRF 是一种通用的神经表示方法,它沿着多视角输入引入了一个聚合像素对齐特征,并使用一种姿态嵌入的非刚性变形场来处理动态运动,进而通过外观融合模块进一步提高渲染质量,实现了在各种多视角动态人体数据集上合成具有照片般逼真的自由视角人类的高效和通用性。
Dec, 2021
本文提出了一个新的框架,用于从野外视频中重建人体和场景,并在单个视频上提供新的人体姿势和视角渲染的方法。通过训练两个 NeRF 模型(human 和 scene),并依赖现有方法估计人体和场景的大致几何形状,可以从观察空间创建到无关姿态的规范空间的偏移场,进而在规范空间中训练人体模型。我们的方法能够从仅 10 秒的视频剪辑中学习特定主题的细节,包括服装褶皱和配件,并提供在新视角和新姿势下人体的高质量渲染和背景。
Mar, 2022