基于单目视频的高保真度神经人类动作转移
该研究论文提出了一种基于深度学习和递归神经网络的方法,采用含有 3D 注释的合成单眼视频来恢复完整的 3D 人体姿势,并在定量和定性分析中证明了该方法的有效性。
Jun, 2019
首次提出从单目视频中恢复高质量可动态调整的服装的方法,通过可学习的服装变形网络和多假设变形模块实现,实验结果表明可生成具有连贯表面细节的高质量动态服装,并可在未见过的姿势下轻松实现动画效果。
Nov, 2023
使用一个人的动态视频,通过引入新颖的组合式人体建模框架,结合显式建模和隐式建模的方法,实现高质量的服装 3D 人体化身建模,解决了缺乏几何和其时间对应关系的 3D 真值数据的挑战,成功地生成了具有运动相关几何和纹理的服装 3D 人体化身。
Dec, 2023
通过单眼 RGB 视频直接训练具有物理可行性的人体运动的生成模型,该方法通过可微分的方式实现了物理约束和接触关系优化,并实现了与之前基于姿态识别的方法相比更高质量、更真实、更多样化的运动合成与估计。
Sep, 2021
本文提出了一种新的姿态转换方法,通过使用组合神经网络,预测人的轮廓,服装标签和纹理,并在推理时利用训练有素的网络生成一个外观及其标签的统一表示,以对姿势变化做出响应,并使用背景完成外观的呈现,从而实现保留人物身份和外观,具有时间上的一致性和泛化能力。
Dec, 2020
本文介绍了一种新的人类视频合成方法,通过两个卷积神经网络(CNNs)明确分离 2D 屏幕空间中的人类嵌入和时间相干的细节,其中第一个 CNN 预测一个动态纹理映射,第二个 CNN 条件下第一个 CNN 的输出生成最终的视频。 该方法被应用于人类重演和单目视频的新视图合成等多个领域,并且在质量和数量方面都有显着的提高。
Jan, 2020
使用生成对抗网络,将源角色的动作转移到目标角色上,并且保持高逼真度。将姿势信息和外貌信息解耦并重新组合,利用重建的三维人体模型作为 GAN 的条件,进一步引入细节增强网络以增强转移结果的细节信息。实验表明,该方法在质量和数量上均优于现有技术。
Mar, 2020
本文介绍了一种自由视点渲染的方法 - HumanNeRF,它可以在给定的人体复杂运动的单目视频中工作,并且可以使主体在任意新的相机视角或甚至特定帧和身体姿势的全 360 度相机路径下呈现。
Jan, 2022
论文提出了一种实时捕获全身人类表现的全新方法,能够通过单个 RGB 视频重建完整人类的密集、时空一致变形几何形态,通过二阶段的分析合成优化策略实现精细的人类表现捕获,并且结合了 4D 运动捕捉,利用材料区域的自动识别进行模型优化,从而实现最终的实时全身表现捕捉。
Oct, 2018