构想一款高效逼真的人体渲染技术的下一代扩展现实会议系统
本文提出了一个新的框架,用于从野外视频中重建人体和场景,并在单个视频上提供新的人体姿势和视角渲染的方法。通过训练两个 NeRF 模型(human 和 scene),并依赖现有方法估计人体和场景的大致几何形状,可以从观察空间创建到无关姿态的规范空间的偏移场,进而在规范空间中训练人体模型。我们的方法能够从仅 10 秒的视频剪辑中学习特定主题的细节,包括服装褶皱和配件,并提供在新视角和新姿势下人体的高质量渲染和背景。
Mar, 2022
HumanNeRF 是一种通用的神经表示方法,它沿着多视角输入引入了一个聚合像素对齐特征,并使用一种姿态嵌入的非刚性变形场来处理动态运动,进而通过外观融合模块进一步提高渲染质量,实现了在各种多视角动态人体数据集上合成具有照片般逼真的自由视角人类的高效和通用性。
Dec, 2021
文章提出了 FastNeRF 方法,通过图形学中的因式分解实现深度辐射图的高效缓存和查询,可在高端消费者 GPU 上以 200Hz 的速率呈现高保真度的照片般逼真的图像,比原始 NeRF 算法快 3000 倍,同时保持视觉质量和可扩展性。
Mar, 2021
基于 NeRF 的人体表演姿态依赖渲染的新方法,通过将辐射场围绕 SMPL 人体模型进行扭曲,实现了新的表面对齐表示,可以通过骨骼关节参数和视点来实现动画化,并通过引入新的重新映射过程来实现高质量渲染。
Nov, 2023
本研究提出了一种基于神经辐射场的高保真度自由视点下人体合成的通用且高效的管道,其中利用几何引导的多视点特征整合方法和渐进式渲染管道通过提供完整的几何体积和预测的密度值来显著提高多个泛化设置下的综合性能和渲染效率。
Dec, 2021
本文介绍了一种自由视点渲染的方法 - HumanNeRF,它可以在给定的人体复杂运动的单目视频中工作,并且可以使主体在任意新的相机视角或甚至特定帧和身体姿势的全 360 度相机路径下呈现。
Jan, 2022
本文提出了 Instant-NVR,一种利用单个 RGBD 相机进行即时容积式人物 - 物体跟踪和渲染的神经方法。该方法在采用高鲁棒性的捕获方案提供足够运动先验的同时,通过多线程跟踪 - 渲染机制,将传统的非刚性跟踪与最近的实时辐射场技术联系起来。本文还介绍了一个在线关键帧选择方案和一个渲染感知的细化策略,以显著提高在线新视角综合的外观细节。
Apr, 2023
我们引入了 HumanRF,这是一种 4D 动态神经场景表示,可以捕获多视角视频输入中运动的全身外观,并允许从新的未见视角进行播放。通过分解时空为时间矩阵 - 向量分解,我们可以以高压缩比捕获高分辨率细节,并获得长序列的时间上连贯的演员重建。新的多视角数据集 ActorsHQ 提供高保真度的 16 个序列的 160 个相机的 12MP 镜头素材。我们的 HumanRF 有效利用了这些数据,在新颖视角合成方面取得了重要进展,实现接近于制作水平的品质。
May, 2023