Dec, 2023

稀疏 RGB 相机实时自由视点渲染的全息传输人物

PDF
TL;DR我们提出了第一种方法，可以实时以前所未有的 4K 分辨率渲染穿着常规服装的人体演员的极其逼真的自由视点视频。
free-viewpoint videosreal-time renderingmulti-view recording3d skeletal poseimmersive telepresence
发现论文，激发创造
  • 自由视点 RGB-D 人体表演捕捉和渲染

    提出了一种利用低成本深度相机从单视角和稀疏 RGB-D 传感器中捕获任意人物，并从未见过的视角生成逼真渲染的视图合成框架。该方法可重建面部表情，具有良好的鲁棒性和高质量的渲染效果，优于之前的视图合成方法。

    Dec, 2021

  • LiveCap: 实时从单目视频中捕捉人类表现

    论文提出了一种实时捕获全身人类表现的全新方法，能够通过单个 RGB 视频重建完整人类的密集、时空一致变形几何形态，通过二阶段的分析合成优化策略实现精细的人类表现捕获，并且结合了 4D 运动捕捉，利用材料区域的自动识别进行模型优化，从而实现最终的实时全身表现捕捉。

    Oct, 2018

  • HumanNeRF: 从单目视频中自由视点渲染行走人物

    本文介绍了一种自由视点渲染的方法 - HumanNeRF，它可以在给定的人体复杂运动的单目视频中工作，并且可以使主体在任意新的相机视角或甚至特定帧和身体姿势的全 360 度相机路径下呈现。

    Jan, 2022

  • 在复杂的人物 - 物体交互下进行神经自由视角性能渲染

    本论文提出了一种神经人体表现捕捉和渲染系统，以实现高质量的几何和逼真的纹理重建，尤其是在挑战性的人体物体交互场景下。通过执行分层场景解耦策略，同时进行体积重建和神经渲染人和物体，提出了交互感知的人 - 物捕捉方案，同时提出了以人为重点的物体跟踪，在自由视点下实现了高质量的几何和纹理重建。

    Aug, 2021

  • R2Human：来自单一图像的实时 3D 人类外貌渲染

    使用单幅图像进行实时推断和渲染逼真的三维人体外貌的 R$^2$Human 方法结合了隐式纹理场和显式神经渲染的优势，利用新的表示法 Z-map 并通过傅里叶占用场重建了精细的三维几何，从而在合成数据和挑战性的现实世界图像上取得了最先进的性能。

    Dec, 2023

  • NeuralHumanFVV：使用 RGB 相机进行实时神经体积人表现渲染

    本文提出了一种名为 NeuralHumanFVV 的实时神经人体表演捕捉和渲染系统，采用分层采样策略以及新颖的神经混合方案，能够在新视角下生成高质量的几何和逼真的贴图结果，实现了高质量的四维重建和逼真的自由视点重建。

    Mar, 2021

  • 利用半参数学习单个 RGBD 相机对人体进行体积捕捉

    提出使用一台 RGBD 相机综合已获取的图像数据生成自由视角视频的方法。该方法通过半参数模型结合深度神经网络的技术实现 4D 表演捕捉，从而为 AR / VR 内容生成提供高逼真度的渲染效果。

    May, 2019

  • FlexNeRF：从稀疏视角实现移动人体的逼真自由视点渲染

    FlexNeRF 是一种用于运动中的单人视频的拍摄的光线追踪方法，其通过平稳的时间和姿态调整相结合来获得高质量的输出。

    Mar, 2023

  • 单目实时体积表演捕捉

    本研究通过引入 PIFu 算法和使用表面本地化算法以及在线难例挖掘技术，从而在不需要昂贵的多视图系统或繁琐的预定义模型的情况下，从单眼视频中实时捕捉和渲染了一个完整的实纹三维人体。

    Jul, 2020

  • 基于视频的三维人体模型重建

    该论文介绍了如何从单目视频中获取任意人物的准确三维身体模型和纹理，该方法仅需使用智能手机或网络摄像头，使每个人都能创建自己的全可动数字双胞胎，如社交 VR 应用或在线时尚购物的虚拟试穿。

    Mar, 2018