NeuralHumanFVV:使用 RGB 相机进行实时神经体积人表现渲染
本论文提出了一种神经人体表现捕捉和渲染系统,以实现高质量的几何和逼真的纹理重建,尤其是在挑战性的人体物体交互场景下。通过执行分层场景解耦策略,同时进行体积重建和神经渲染人和物体,提出了交互感知的人 - 物捕捉方案,同时提出了以人为重点的物体跟踪,在自由视点下实现了高质量的几何和纹理重建。
Aug, 2021
本文提出了一种结合时间体积融合和深度隐式函数的人体体积捕捉方法,该方法不仅可以实现高质量、连续的重建,而且可以生成包含几何细节和更加逼真的纹理结果的细节保留深度隐式函数,实验结果表明,该方法在稀疏视角、泛化能力、重建质量和运行效率方面优于现有方法。
May, 2021
本文提出了 Instant-NVR,一种利用单个 RGBD 相机进行即时容积式人物 - 物体跟踪和渲染的神经方法。该方法在采用高鲁棒性的捕获方案提供足够运动先验的同时,通过多线程跟踪 - 渲染机制,将传统的非刚性跟踪与最近的实时辐射场技术联系起来。本文还介绍了一个在线关键帧选择方案和一个渲染感知的细化策略,以显著提高在线新视角综合的外观细节。
Apr, 2023
提出了一种利用低成本深度相机从单视角和稀疏 RGB-D 传感器中捕获任意人物,并从未见过的视角生成逼真渲染的视图合成框架。该方法可重建面部表情,具有良好的鲁棒性和高质量的渲染效果,优于之前的视图合成方法。
Dec, 2021
本文提出了一种综合的神经方法,用于从密集的多视角视频中重建、压缩和渲染人类表演。该方法桥接了传统的动画网格工作流和一类高效的神经技术,其中包括神经表面重构器和混合神经跟踪器,并实现了各种带宽设置下的从动态纹理到光图渲染的渲染方案,展示了其在各种网格应用和各种平台的逼真自由视点体验中的有效性。
Sep, 2022
该研究提出了一种名为 UV Volumes 的新方法,利用 2D 的神经纹理堆栈来分离高频(即非平滑)人类外貌和 3D 体积,并用较小和更浅的神经网络在三维中获得密度和纹理坐标,从而实时渲染可编辑的自由视角视频,可以用于 VR / AR 应用,并且具有重新贴图等有趣应用。
Mar, 2022
我们引入了 HumanRF,这是一种 4D 动态神经场景表示,可以捕获多视角视频输入中运动的全身外观,并允许从新的未见视角进行播放。通过分解时空为时间矩阵 - 向量分解,我们可以以高压缩比捕获高分辨率细节,并获得长序列的时间上连贯的演员重建。新的多视角数据集 ActorsHQ 提供高保真度的 16 个序列的 160 个相机的 12MP 镜头素材。我们的 HumanRF 有效利用了这些数据,在新颖视角合成方面取得了重要进展,实现接近于制作水平的品质。
May, 2023
该论文介绍了一种基于神经渲染的深层结构,可以在实时中进行补全、超分辨率、去噪,取得高质量图像,适用于虚拟和增强现实头盔,大大改善了用户的使用体验。
Nov, 2018
本研究通过引入 PIFu 算法和使用表面本地化算法以及在线难例挖掘技术,从而在不需要昂贵的多视图系统或繁琐的预定义模型的情况下,从单眼视频中实时捕捉和渲染了一个完整的实纹三维人体。
Jul, 2020