Apr, 2023

CAT-NeRF: 用于动态人体建模的恒定感知 Tx$^2$Former

PDF
TL;DR本文提出了一种称为 CAT-NeRF 的新方法，用于人体渲染视频中的外观一致性自我感知，并使用 Tx^2Former 来将外观一致性和独特性分离。同时，引入了新的 Covariance Loss 来限制外观独特性之间的相关性，以确保外观独特性能够被最大程度地捕捉。以 H36M 和 ZJU-MoCap 为例，实验结果显示这种方法具有最先进的性能。
human renderingvolumetric neural renderingtx^2formercat-nerfappearance constancy
发现论文，激发创造
  • 从纹理空间中为 NeRFs 进行动画：一种基于姿态的人类表演渲染框架

    基于 NeRF 的人体表演姿态依赖渲染的新方法，通过将辐射场围绕 SMPL 人体模型进行扭曲，实现了新的表面对齐表示，可以通过骨骼关节参数和视点来实现动画化，并通过引入新的重新映射过程来实现高质量渲染。

    Nov, 2023

  • 可控的神经网络 3D 肖像的动态外貌

    CoDyNeRF 是一个在现实世界的采集条件下创建完全可控的 3D 肖像的系统，通过在规范空间中基于预测的表面法线和面部表情与头部姿态变形的条件下近似光照相关效果的动态外观模型来学习，它使用 3DMM 法线作为人头粗略法线的先验之一来引导表面法线预测，只需要使用手机拍摄的短视频进行训练，我们展示了该方法在具有明确头部姿态和表情控制以及逼真光照效果的肖像场景的自由视图合成中的有效性。

    Sep, 2023

  • CTNeRF：来自单眼视频的动态神经辉度场的跨时间变压器

    我们的研究目标是从复杂动态场景的单目视频中生成高质量的新视图。为了解决过去方法在准确建模复杂物体运动方面的局限性，我们提出了一种新方法，结合了近期的广义 NeRF 和在时间和频率域中操作的模块，以改善动态场景的图像合成的精确度和视觉质量。

    Jan, 2024

  • A-NeRF：用于学习人体形态、外观和姿态的关节神经辐射场

    本文提出了一种基于神经径向基方法的生成神经体模型，通过学习未标记的单目视频，在不需要地面真实标签的情况下，共同完善的姿势和体积身体形状和外观，有效改善了多样化数据集上的准确性，是对使用反向运动学的引入的一个重要贡献。

    Feb, 2021

  • 神经轨迹场用于动态新视角合成

    本论文提出了 DCT-NeRF，一种基于坐标的神经表示方法，用于动态场景的高质量重建，它学习空间中每个点的平稳和稳定轨迹，并强制执行序列中任意两帧之间的一致性。

    May, 2021

  • 从单目视频中神经捕捉可动画 3D 人体

    本文提出了一种基于动态神经辐射场和网格参数化三维人体模型的新方法，通过映射表征人体在不同姿势和角度的变化特征，实现了高质量渲染。

    Aug, 2022

  • 从单目 RGB 视频中生成可动态调整神经辐射场

    本文提出了可动态变化神经辐射场 (animatable NeRF) 的方法用于从单眼视屏中创建细节丰富的人物角色，通过引入显式姿势引导变形的方式学习场景表示网络扩展神经辐射场 (NeRF) 到带有人体运动的动态场景，并展示了该方法在人物几何和外观重建、真实感渲染和动画设计等方面取得了突破性成果。

    Jun, 2021

  • 基于视频的姿势调节化身

    通过神经放射场（NeRF）驱动底层骨骼，现在可以从一组稀疏的摄像机中重构动态人体动作和形状。我们开发了一个自适应和显式的频域两支神经网络来建模与骨骼姿态相关的衣物和皮肤的变形。通过模拟不同姿势所需的唯一频率分配，我们的网络在保留细节和泛化能力方面优于现有的方法。

    Aug, 2023

  • CT-NeRF：复杂轨迹下的逐步优化神经辐射场与姿态

    CT-NeRF 是一种仅使用 RGB 图像而不需要姿态和深度信息的增量重建优化管道，通过本地 - 全局捆绑调整和重投影几何图像距离约束，实现对相机姿态和场景结构的恢复，能够处理具有复杂轨迹的场景，并在新视角合成和姿态估计准确度方面优于现有方法。

    Apr, 2024

  • H-NeRF: 人体运动的神经辐射场渲染与时间重建

    本文提出了神经辐射场用于人物运动的渲染和时空（4D）重建，该方法将神经场表示、新视角合成和隐式统计几何人类表示相结合，并应用于人类姿势识别和服装模拟。

    Oct, 2021