在电视节目中重建三维人物和环境
通过利用人与场景的交互可有效提高单目视频的 3D 场景重建,同时优化人的姿态估计,本论文基于三种 HSI 约束条件,即深度排序、是否穿插目标、接触面,使用优化方法再形成一致、物理合理且功能性 3D 场景布局,并对其在 PROX 和 PiGraphs 数据集上进行定量定性评估。
Mar, 2022
本论文探讨了在三维室内场景中预测人类动作所需的可负担性建模技术,并通过引入语义和几何结构来创建大规模数据集合并使用三维姿态合成器预测出语义合理的人体姿态。最终的可负担性预测方法能够持续胜过现有的最新方法。
Mar, 2019
通过观察人类运动的视觉序列,我们可以轻松猜测人在过去和未来的 3D 运动。我们提出了一个可以学习人类 3D 动力学表示的框架,通过简单而有效的图像特征时间编码。在测试过程中,学习到的时空表示能够预测具有平稳性的 3D 网格。我们的模型可以从单个图像中恢复当前的 3D 网格以及它未来和过去的 3D 运动,同时也可以通过半监督学习从带有 2D 姿态标注的自然视频中学习。我们通过对来自互联网海量未标记数据的模型训练,通过已有的 2D 姿态检测器得到伪基础真值 2D 姿态,证明了我们的模型可以自举学习并在三维动作预测任务中获得最新的性能。
Dec, 2018
通过单目视频输入的方法,本文提出了一种将世界和多个动态人物在 3D 中进行重构的方法,使用新兴的 3D 高斯涂布(3D-GS)表示法来表达世界和多个人物,解决了 3D 人物重构中常见的观测在 3D 空间中非常有限和稀疏的挑战,并演示了方法在各种具有挑战性的例子中可以重构出高质量的可动画 3D 人物,并且在重构后,该方法可以以任意时间片段渲染场景并编辑 3D 场景。
Apr, 2024
本文介绍了一种通过 4DHumans 方法从单眼视频中追踪和重建人体动作的技术,通过 transformerized 版本的 HMR 2.0 网络实现人体重建,使用 3D 重建作为输入在 3D 跟踪系统中进行多人追踪并通过深度学习算法实现姿态和动作的识别。
May, 2023
本文提出了一种基于学习的模型,利用少量单目视频帧 (1-8 帧) 从移动的人中推断出其个性化的 3D 形状,可在不到 10 秒内达到 5mm 的重建精度。该模型学习预测一个统计体型模型的参数和实例化偏移量,同时加入衣服和头发的形状,具有快速和准确的预测,这得益于其对 T-pose 空间的预测和从上往下和从下往上两个视图预测的结合。该模型仅基于合成的 3D 数据进行学习,可将可变数量的帧作为输入,即使仅有一张图像,也能以 6mm 的精度重建形状。3 个不同数据集的结果表明了本方法的有效性和准确性。
Mar, 2019
本研究提出了一种几何感知的人体姿态三维表示方法,通过使用多个视角和简单的自编码器模型以 2D 关键点信息为监督,在训练阶段建立共享的 3D 表示,进而通过骨架编码器 - 解码器机制在潜在空间提取仅与姿态相关的表示。实验结果表明,该方法能够显著提高现有姿态估计方法的性能。
Mar, 2019
本文介绍了一种利用自监督学习估算不需要人工标注的静态背景下单个人物的 2D 视频帧生成 3D 人体姿势的方法。作者采用射线投射技术进行人体模板的渲染,使神经网络可以对渲染结果进行优化,从而获得了令人满意的结果。
Oct, 2022
本研究基于深度学习的体积表示方法,提出利用人体图片,通过几何变形的方式隐式学习稠密特征体积,并通过卷积解码器将特征体积映射回 RGB 空间,实现了人体图像的任意变形,取得了着装识别和人像表情生成方面的最新研究成果。
Jun, 2020
通过使用隐式的场景元素特征表征来区分合理和不合理的人体和物体对齐,在机器人感知中提出了一个以图形为基础的整体三维人体场景重建的方法,该学习方法实现了与现有基于优化的方法相当的三维重建质量,且不需要推理时间优化,适用于机器人导航等潜在应用中。
Jul, 2023