MMAug, 2021

在复杂的人物 - 物体交互下进行神经自由视角性能渲染

PDF
TL;DR本论文提出了一种神经人体表现捕捉和渲染系统，以实现高质量的几何和逼真的纹理重建，尤其是在挑战性的人体物体交互场景下。通过执行分层场景解耦策略，同时进行体积重建和神经渲染人和物体，提出了交互感知的人 - 物捕捉方案，同时提出了以人为重点的物体跟踪，在自由视点下实现了高质量的几何和纹理重建。
4d reconstructionhuman-object interactionneural performance capturegeometry reconstructionneural texture rendering
发现论文，激发创造
  • NeuralHumanFVV：使用 RGB 相机进行实时神经体积人表现渲染

    本文提出了一种名为 NeuralHumanFVV 的实时神经人体表演捕捉和渲染系统，采用分层采样策略以及新颖的神经混合方案，能够在新视角下生成高质量的几何和逼真的贴图结果，实现了高质量的四维重建和逼真的自由视点重建。

    Mar, 2021

  • 自由视点 RGB-D 人体表演捕捉和渲染

    提出了一种利用低成本深度相机从单视角和稀疏 RGB-D 传感器中捕获任意人物，并从未见过的视角生成逼真渲染的视图合成框架。该方法可重建面部表情，具有良好的鲁棒性和高质量的渲染效果，优于之前的视图合成方法。

    Dec, 2021

  • 基于神经动态网格的人类表现建模与渲染

    本文提出了一种综合的神经方法，用于从密集的多视角视频中重建、压缩和渲染人类表演。该方法桥接了传统的动画网格工作流和一类高效的神经技术，其中包括神经表面重构器和混合神经跟踪器，并实现了各种带宽设置下的从动态纹理到光图渲染的渲染方案，展示了其在各种网格应用和各种平台的逼真自由视点体验中的有效性。

    Sep, 2022

  • 即时神经体积渲染：从单目 RGBD 流进行人 - 物体交互

    本文提出了 Instant-NVR，一种利用单个 RGBD 相机进行即时容积式人物 - 物体跟踪和渲染的神经方法。该方法在采用高鲁棒性的捕获方案提供足够运动先验的同时，通过多线程跟踪 - 渲染机制，将传统的非刚性跟踪与最近的实时辐射场技术联系起来。本文还介绍了一个在线关键帧选择方案和一个渲染感知的细化策略，以显著提高在线新视角综合的外观细节。

    Apr, 2023

  • LookinGood: 实时神经再渲染技术提升表现捕捉

    该论文介绍了一种基于神经渲染的深层结构，可以在实时中进行补全、超分辨率、去噪，取得高质量图像，适用于虚拟和增强现实头盔，大大改善了用户的使用体验。

    Nov, 2018

  • 稀疏 RGB 相机实时自由视点渲染的全息传输人物

    我们提出了第一种方法，可以实时以前所未有的 4K 分辨率渲染穿着常规服装的人体演员的极其逼真的自由视点视频。

    Dec, 2023

  • 用于实时渲染可编辑自由视角下的人体表现的 UV 体素

    该研究提出了一种名为 UV Volumes 的新方法，利用 2D 的神经纹理堆栈来分离高频（即非平滑）人类外貌和 3D 体积，并用较小和更浅的神经网络在三维中获得密度和纹理坐标，从而实时渲染可编辑的自由视角视频，可以用于 VR / AR 应用，并且具有重新贴图等有趣应用。

    Mar, 2022

  • R2Human：来自单一图像的实时 3D 人类外貌渲染

    使用单幅图像进行实时推断和渲染逼真的三维人体外貌的 R$^2$Human 方法结合了隐式纹理场和显式神经渲染的优势，利用新的表示法 Z-map 并通过傅里叶占用场重建了精细的三维几何，从而在合成数据和挑战性的现实世界图像上取得了最先进的性能。

    Dec, 2023

  • 利用半参数学习单个 RGBD 相机对人体进行体积捕捉

    提出使用一台 RGBD 相机综合已获取的图像数据生成自由视角视频的方法。该方法通过半参数模型结合深度神经网络的技术实现 4D 表演捕捉，从而为 AR / VR 内容生成提供高逼真度的渲染效果。

    May, 2019

  • Function4D：基于极稀疏消费级 RGBD 传感器的实时人体体积捕获

    本文提出了一种结合时间体积融合和深度隐式函数的人体体积捕捉方法，该方法不仅可以实现高质量、连续的重建，而且可以生成包含几何细节和更加逼真的纹理结果的细节保留深度隐式函数，实验结果表明，该方法在稀疏视角、泛化能力、重建质量和运行效率方面优于现有方法。

    May, 2021