SNUG: 自监督神经动态服装
本文介绍了一种解决数字化人物着装的解决方案,该方案可以通过神经网络在测试时直接生成逼真的动态服装图像序列,以解决现有工作流程中重复性高且耗时的问题,并且可以在新的身体形状和背景图像下进行微调,并提供了与现有神经渲染和图像序列转换方法的定量比较。
Feb, 2021
我们提出了一种新颖的自监督框架,用于在任意形状和姿势的三维人体化身上重定向非参数化的三维服装,实现三维虚拟试穿。我们引入了基于 Isomap 嵌入的对应匹配方法,以获得两个网格之间的粗略对齐,并在自监督环境下进行精细对齐的神经改进。此外,我们利用 Laplacian 细节整合方法来保留输入服装的内在细节,通过使用包含 255 种真实噪声和拓扑变形的真实世界服装数据集来评估我们的三维非参数化服装重定向框架,并展示了其在非参数化服装和人体化身上优于现有最先进方法的重定向质量,在该数据集上作为非参数化三维服装重定向的首个基准。
Jan, 2024
本文提出了一种新的生成模型,用于 3D 服装变形,能够学习一种数据驱动的虚拟试穿方法,并成功地解决了服装和身体之间的碰撞问题。通过使用服装的规范空间来训练生成模型,实现了一种自我监督的碰撞术语,可以可靠地解决服装和身体之间的相互渗透。
May, 2021
我们提出了一种基于频谱的学习方法,用于生成具有动态效果和个性化细节的服装变形。通过引入频谱视角的频率控制策略、泛化形状信息的频谱描述符和集成了长短期记忆的频率可控注意机制,我们开发了一种动态服装变形估计器,实现了对不同类型服装的连续变形,并通过神经碰撞处理方法增强了服装的逼真度。实验结果表明,我们的方法在多种自由摆动的服装上表现出优越性,超过了现有方法。
Aug, 2023
该研究介绍了一种名为 MGN 的多服装网络模型,利用 SMPL 模型,通过视频中几帧图像(1-8)预测身体的形状及所穿服装,该模型能够更好的控制身形和服装的关系。为了训练 MGN,研究人员利用一个数字化的衣柜,该衣柜中包含了 712 件数字化服装模板以及真实人物在不同姿势、身着不同服装时的 3D 扫描数据。该数字化衣柜、MGN 模型以及 SMPL 模型的代码均可公开获取。
Aug, 2019
我们提出了一种使用隐式曲面表示衣服、学习受关节体模型形状和姿势参数影响的蒙皮场的端到端可微管道来处理任意拓扑衣物的方法,并提出了一种防止体 - 衣物相互穿插和减少艺术品的预处理策略和新的训练损失。经实验证明,我们的方法相比于现有的方法,可以更准确地重建和变形服装,并且可以通过图像观测共同恢复身体和服装参数。
Sep, 2022
首次提出从单目视频中恢复高质量可动态调整的服装的方法,通过可学习的服装变形网络和多假设变形模块实现,实验结果表明可生成具有连贯表面细节的高质量动态服装,并可在未见过的姿势下轻松实现动画效果。
Nov, 2023
本文提出了一种基于学习的服装动画方法,用于高效的虚拟试穿模拟,其中使用了基于物理的模拟,基于数据库的模型训练,并将全局服装吻合和局部服装皱纹分离。同时,使用循环神经网络来回归服装皱纹,实现了高度逼真的非线性效果。
Mar, 2019
本研究通过深度学习提出了一种解决服装动画问题的新方法,可以对任何拓扑和几何复杂度的模板服装进行动画处理,并提出了一种补充有监督学习的无监督物理学习方法,以隐式解决碰撞和增强布料质量。
Sep, 2020