从众多日常视频中构建可动画的 3D 神经模型的 BANMo
本文介绍了针对从日常视频中建立变形 3D 对象的过程中遇到的挑战,提出了一种新的神经双四元混合蒙皮(NeuDBS)以及一个纹理滤波方法用于纹理渲染来提高建立人和动物 3D 模型的定量和定性性能。
Apr, 2023
本研究提出了 DreaMo,一种从单个且视角覆盖不完整的网络视频中重建关节 3D 形状的方法,通过使用条件视图扩散先验和一些定制的正则化方法解决了低视角覆盖区域带来的挑战,并引入了骨架生成策略生成可解释的人体骨架。对自行收集的视角覆盖不完整的网络视频进行了广泛的定性和定量研究,结果表明 DreaMo 在新视角渲染、详细关节形状重建和骨架生成方面具有良好的质量,并且现有的方法由于视角覆盖不完整而无法解决正确的几何问题。
Dec, 2023
我们提出了一种从单目视频中构建可动画的狗头像的方法,通过解决动物的姿态变化和外观问题,提高了基于模板的形状拟合的质量。我们的方法在 CoP3D 和 APTv2 数据集上展示了优异的结果。
Mar, 2024
本文研究 3D 姿态估计问题中常见的物体部分遮挡或者从未见过的视角所导致的深度学习问题,通过将深度神经网络与物体的三维生成表示相结合,提出了一种名为 NeMo 的神经架构,该方法在不需要真实的 3D 几何体来进行准确的 3D 姿态估计方面具有更强的鲁棒性,并使用对比学习的方法来训练特征提取器以增强其鲁棒性。 在 PASCAL3D +,occluded-PASCAL3D + 和 ObjectNet3D 数据集上的广泛实验证明,NeMo 相对于标准深度网络具有更好的性能和更强的鲁棒性。
Jan, 2021
通过神经放射场(NeRF)驱动底层骨骼,现在可以从一组稀疏的摄像机中重构动态人体动作和形状。我们开发了一个自适应和显式的频域两支神经网络来建模与骨骼姿态相关的衣物和皮肤的变形。通过模拟不同姿势所需的唯一频率分配,我们的网络在保留细节和泛化能力方面优于现有的方法。
Aug, 2023
利用可微分渲染实现从单个视频中生成人,猫和狗等动物的可动态三维模型,并通过优化特定的骨架实现实例化,使用潜在空间正则化鼓励类别间的共享结构并同时维护实例的细节和使用三维背景模型将对象与背景分离。
May, 2023
提出一种新的重建方法,可以学习任何物品的动画运动学链,不需要事先了解物品的形状或基础结构,能够实现直接姿势操纵,并在各种复杂的关节对象类型上获得与最先进的三维表面重建方法相当的表现。
Apr, 2023
在本文中,我们提出了一种名为 HMD-NeMo 的轻量级神经网络,可以在线实时地预测全身动作,解决了只能部分可见手部情况下的全身动作生成问题,并在 AMASS 数据集上达到了新的最先进水平。
Aug, 2023
该研究提出了一种新的框架,通过结构和视图标准化操作,将 3D 动作重定位任务从控制环境转移到野外场景。该方法利用在线视频进行非监督训练,不需要使用任何运动捕捉系统或 3D 重建程序,从 2D 视频中重定位身体动作到 3D 角色,具有高精度的 2D 到 3D 动作转换性能,并且产生的规范化骨架序列可用于人类运动的可解释表示。
Dec, 2021
本论文提出了一种名为 MonoHuman 的新型框架,该框架使用共享双向变形模块和前向对应搜索模块来创造出一个可塑性质高的形变场,其利用离线关键帧信息来推断人体不同部位运动的相关特征,使得生成的虚拟角色在姿势、细节和视角等方面更为真实。与其他现有方法相比,该框架产生的效果更为卓越。
Apr, 2023