用于单镜头手部虚拟形象的交互意识3D高斯点云学习
模拟手-物互动的姿态估计方法,通过不依赖稠密标注数据的光度一致性方法可同时进行手和物体的三维重建和精确定位,取得了3D手-物重建基准测试的最优结果,并展示了其在低数据场景下通过相邻帧获取信息以提高姿态估计精度的能力。
Apr, 2020
本文提出了一种通过卷积神经网络和分步优化的方式从单个RGB图像中重建精确的三维手部网格模型,以促进人机交互和人类行为理解,并在InterHand2.6M等大规模数据集上进行了广泛的定量和定性分析。
Nov, 2021
该文提出了一个新的框架,使用神经辐射场(NeRF)重建手的外观和几何,使得能够从任意视角呈现手势动画的逼真图像和视频,并利用姿势驱动的变形场等方法实现了手外观与几何的合理映射,同时在密度学习中使用了伪深度图进行遮挡处理,最终在多项实验证明了该方法的有效性。
Mar, 2023
通过视觉远程操作收集数据和获取姿态估计和接触信息,提出了一种新的数据集和新的方法来学习手和动态物体姿态估计的交互先验知识。通过对数据的学习,可以提高联合手和关节物体姿态估计的性能。
May, 2023
我们提出了一种名为SplatArmor的新方法,通过在3D高斯函数中将参数化的人体模型“装甲”,从而恢复出详细的、可动画的人体模型。我们的方法将人体表示为一组位于规范空间内的3D高斯函数,其关节扭曲通过在规范空间内任意位置扩展底层SMPL几何体的蒙皮来定义。为了考虑姿势相关效果,我们引入了一个SE(3)场,允许捕捉高斯函数的位置和各向异性。此外,我们提出了使用神经颜色场来提供颜色规范化和用于准确定位这些高斯函数的3D监督。我们通过展示ZJU MoCap和People Snapshot数据集上的令人信服的结果,证明了高斯函数散射提供了一种有趣的替代于基于神经渲染的方法,它利用了不可区分性和优化挑战,而这些挑战通常在这类方法中面临。粗放复刻范例使我们能够利用向前蒙皮,并且不会受到逆蒙皮和扭曲所带来的不确定性的影响。我们的方法对于可控的人体合成的有效性进行了强有力的证明。
Nov, 2023
该研究解决了从多视角视频中学习的逼真人体化身的实时渲染问题,通过提出了基于三维高斯散点的可动态化的人体模型,相较于现有方法,在THuman4数据集上呈现了1.5dbB更好的PSNR,并能以20fps或更高的速度进行渲染。
Nov, 2023
使用3D高斯喷洒(3DGS),我们介绍了一种从单目视频中创建可以动画化的人体化身的方法。通过学习非刚性变形网络和引入不同性的正则化,我们的方法在训练和推理速度上比现有的技术分别快400倍和250倍,并实现了与最先进方法相媲美甚至更好的性能。
Dec, 2023
我们提出了G-HOP,一种基于去噪扩散的生成先验,用于手-物体交互,可以对3D物体和人手进行建模,并条件于物体类别。我们通过使用骨骼距离场来表示人手,从而得到与物体(潜在)有向距离场对齐的表示,学习一个可以捕捉这种联合分布的3D空间扩散模型。我们展示了这个手-物体先验可以作为通用指导,在交互裁剪的重建和人手抓取合成等其他任务中发挥作用。我们相信,我们的模型通过汇集155个类别的七个多样化的现实世界交互数据集进行训练,提供了一种联合生成手和物体的初次尝试。我们的实证评估表明,在基于视频的重建和人手抓取合成方面,这个联合先验具有超越当前任务特定基准的优势。
Apr, 2024
通过使用MIGS(多身份高斯喷溅)方法,我们能够从单目视频中学习一个神经表示多个身份的模型,同时具备对多个身份进行优化、鲁棒地动画化以及学习未知身份的能力。
Jul, 2024