循环测试时间适应用于单目视频的 3D 人体网格重建
本文提出了一种算法,用于从野外视频中重建变形对象实例的时间一致 3D 网格,不需要每个视频帧的 3D 网格注释,2D 关键点或相机姿态,而是将基于视频的重建构建为适用于任何传入测试视频的自监督在线适应问题。
Dec, 2020
该研究论文提出了一种基于深度学习和递归神经网络的方法,采用含有 3D 注释的合成单眼视频来恢复完整的 3D 人体姿势,并在定量和定性分析中证明了该方法的有效性。
Jun, 2019
本文提出了一种基于循环域自适应(CycDA)算法的无监督图像到视频域自适应方法,通过利用图像和视频之间的联合空间信息,以及采用独立的时空模型来缩小图像和视频数据的间隔以应对空间域转换和模态差异的挑战,并在基准数据集上取得了最新的技术进展。
Mar, 2022
通过观察人类运动的视觉序列,我们可以轻松猜测人在过去和未来的 3D 运动。我们提出了一个可以学习人类 3D 动力学表示的框架,通过简单而有效的图像特征时间编码。在测试过程中,学习到的时空表示能够预测具有平稳性的 3D 网格。我们的模型可以从单个图像中恢复当前的 3D 网格以及它未来和过去的 3D 运动,同时也可以通过半监督学习从带有 2D 姿态标注的自然视频中学习。我们通过对来自互联网海量未标记数据的模型训练,通过已有的 2D 姿态检测器得到伪基础真值 2D 姿态,证明了我们的模型可以自举学习并在三维动作预测任务中获得最新的性能。
Dec, 2018
该文提出了一种新的框架,通过训练一系列递归深度神经网络从 2D 姿势及其时间导数来生成人类形状、结构和外观的中间表示,从而解决了视频中松散的服装动态和细节的生成问题,实现了高保真的人类动作转移。
Dec, 2020
本文介绍了一种通过 4DHumans 方法从单眼视频中追踪和重建人体动作的技术,通过 transformerized 版本的 HMR 2.0 网络实现人体重建,使用 3D 重建作为输入在 3D 跟踪系统中进行多人追踪并通过深度学习算法实现姿态和动作的识别。
May, 2023
提出一种结合骨架模型、将人类网格划分为多个局部部分并使用单独的循环模型建模每个局部部分动态的新方法,进行视频网格恢复,最终实现了在多个基准数据集上的最先进结果。
Jul, 2021
本文提出了一种新颖的方法,利用深度卷积神经网络来对 2D 关节点位置进行建模,并通过期望最大化算法来恢复 3D 几何体,从而实现了对不带标记的单个摄像头的全身人体姿态估计。
Jan, 2017
本文提出了一种基于扩散驱动变换器的视频人体网格复原框架 (DDT),能有效地提高运动平滑性和时间连续性,并且具有较高的效率和因果性,能够广泛应用于各种实际场景。
Mar, 2023
本文介绍了一种新的人类视频合成方法,通过两个卷积神经网络(CNNs)明确分离 2D 屏幕空间中的人类嵌入和时间相干的细节,其中第一个 CNN 预测一个动态纹理映射,第二个 CNN 条件下第一个 CNN 的输出生成最终的视频。 该方法被应用于人类重演和单目视频的新视图合成等多个领域,并且在质量和数量方面都有显着的提高。
Jan, 2020