Dec, 2020

Vid2Actor: 野外视频中基于自由视点的动态人物合成

PDF
TL;DR通过视频重建一个可动画的模型，运用深度学习网络训练产生了一种体积式 3D 人体表达，实现了新颖的姿态 / 视角的综合和不需要预先装配模型的图像合成。研究证明了该模型的有效性并展示了不同人的视频实验结果以及模型的运用：运动重定向和子弹时间效果。
animatable modelvolumetric 3d representationpose/view synthesisgan-based image-to-image translationmotion re-targeting
发现论文，激发创造
  • 人类演员视频的神经渲染及再现

    该研究提出了一种基于视频的真实人物动画生成方法，利用中等质量的可控 3D 模板模型和神经网络技术，成功实现了人物形象的逼真渲染和编辑。

    Sep, 2018

  • 少样本视频到视频合成

    本研究提出了一种少样本 vid2vid 前景图像生成模型，利用注意力机制生成网络权重，从而实现对以前未见过的目标进行视频生成。在多个大规模视频数据集上的实验证实了该方法的有效性。

    Oct, 2019

  • Vid2Game: 从现实世界视频中提取可控角色

    该研究介绍了一种使用可控模型和神经网络生成具有自定义运动控制、背景及外观的人物影像序列的方法，展示了该方法在多个舞蹈家和运动员视频中的高质量表现。

    Apr, 2019

  • 3D 控制合成运动人物

    利用扩散模型为给定目标 3D 动作序列中的人物从单个图像创建动画的框架，包括学习关于人体和服装不可见部分的先验知识以及呈现适当的身体姿势和纹理的新姿态。

    Jan, 2024

  • 从野外单张图像中的姿势引导的人类动画

    本文提出了一种新的姿态转换方法，通过使用组合神经网络，预测人的轮廓，服装标签和纹理，并在推理时利用训练有素的网络生成一个外观及其标签的统一表示，以对姿势变化做出响应，并使用背景完成外观的呈现，从而实现保留人物身份和外观，具有时间上的一致性和泛化能力。

    Dec, 2020

  • 深度视频肖像

    该研究提出了一种新方法，可以通过输入视频实现人像视频的逼真的重新动画制作，在此过程中将源演员的全面影响转移到目标演员的画像上。

    May, 2018

  • 稀疏 RGB 相机实时自由视点渲染的全息传输人物

    我们提出了第一种方法，可以实时以前所未有的 4K 分辨率渲染穿着常规服装的人体演员的极其逼真的自由视点视频。

    Dec, 2023

  • 通过神经渲染在静态视频中进行自监督的三维人体姿势估计

    本文介绍了一种利用自监督学习估算不需要人工标注的静态背景下单个人物的 2D 视频帧生成 3D 人体姿势的方法。作者采用射线投射技术进行人体模板的渲染，使神经网络可以对渲染结果进行优化，从而获得了令人满意的结果。

    Oct, 2022

  • 基于视频的三维人体模型重建

    该论文介绍了如何从单目视频中获取任意人物的准确三维身体模型和纹理，该方法仅需使用智能手机或网络摄像头，使每个人都能创建自己的全可动数字双胞胎，如社交 VR 应用或在线时尚购物的虚拟试穿。

    Mar, 2018

  • HumanNeRF: 从单目视频中自由视点渲染行走人物

    本文介绍了一种自由视点渲染的方法 - HumanNeRF，它可以在给定的人体复杂运动的单目视频中工作，并且可以使主体在任意新的相机视角或甚至特定帧和身体姿势的全 360 度相机路径下呈现。

    Jan, 2022