基于概率的视角不变人体姿态嵌入
提出了一种视角不变的模型,用于从单个深度图像中估计 3D 人体姿态,该模型从一个学习的视角不变特征空间中嵌入局部区域来实现,并采用自下而上的误差反馈机制进行姿态估计,多任务的学习方法可以在噪声和遮挡的情况下选择性地预测局部姿态。通过对一个先前发布的深度数据集和一个包含 10 万个注释深度图像的新收集的人体姿态数据集的评估,实验证明该模型在正面视图上实现了竞争性性能,在替代视角上实现了最先进的性能。
Mar, 2016
本研究提出了一种几何感知的人体姿态三维表示方法,通过使用多个视角和简单的自编码器模型以 2D 关键点信息为监督,在训练阶段建立共享的 3D 表示,进而通过骨架编码器 - 解码器机制在潜在空间提取仅与姿态相关的表示。实验结果表明,该方法能够显著提高现有姿态估计方法的性能。
Mar, 2019
本文提出了一种用于学习将身体相似姿势的图像放置在附近的 embedding 方法,该方法可以作为一种直接比较基于人体姿势的图像的方法,避免了估计身体关节位置的潜在挑战。通过三元组距离准则构建了姿态嵌入学习,采用深度架构,使能够学习区分不同姿态的表征,文中的实验在人体姿态匹配和从视频数据中检索上展示了该方法的潜力。
Jul, 2015
本文提出使用多视角图像而无需注释,来学习一个具有几何感知能力的身体表示,通过使用该身体表示,我们的方法在仅使用少量标记数据的情况下,显著优于完全监督的方法,并且在使用仅 1% 标记数据时,也优于其他半监督方法。
Apr, 2018
提出了一种名为 PoseVocab 的编码技术,该技术基于训练动态的多视角 RGB 视频,构建关键姿势和潜在嵌入,以有效地编码动态人体外观细节,从而使得在新的姿势下实现逼真且广泛的动画成为可能。
Apr, 2023
基于可学习的三角测量方法,使用两种新颖方案对多视图 3D 人体姿势估计进行了探索,其中一种使用置信度权重,另一种是基于体积聚合和三维卷积技术,具有端到端可微的特性,提高了 Human3.6M 数据集上的多视图姿态估计表现。
May, 2019
本文提出了一种通过多视角的训练,使用一致性约束联合监督损失及惩罚项实现替代大量标注的 3D 人体姿态估计方法,并提出了一种联合估计相机姿态及人体姿态的方法,在 3D 人体姿态估计方面取得了良好的表现。
Mar, 2018
该研究论文讨论了通过多个校准相机捕捉的近距离互动中多个个体的姿势重建的挑战性任务,并提出了一种整合了学习为基础的姿势估计组件和相应的训练和推断策略的系统。该系统利用多视图 2D 关键点热图作为输入,使用 3D 条件体积网络重建每个个体的姿势,通过合成大规模的模拟测试场景中真实数据分布的训练数据集,实现了对姿势准确性的显著提升,并且在不同相机配置和人群规模下具有很好的泛化性能。
Jan, 2024
本文提出了一种使用概率三角测量模块的方法,将已标定的 3D 人体姿势估计方法推广到非标定场景,通过从 2D 特征迭代更新概率分布的方式实现相机姿势的后验概率,并将梯度直接反向传播到 2D 热图,从而实现端到端的训练。实验证明,本方法在估计精度和普适性之间取得了权衡,并在 Human3.6M 和 CMU Panoptic 数据集上的实验中优于其他非标定方法,并达到了与最先进标定方法相当的结果。
Sep, 2023
通过观察人类运动的视觉序列,我们可以轻松猜测人在过去和未来的 3D 运动。我们提出了一个可以学习人类 3D 动力学表示的框架,通过简单而有效的图像特征时间编码。在测试过程中,学习到的时空表示能够预测具有平稳性的 3D 网格。我们的模型可以从单个图像中恢复当前的 3D 网格以及它未来和过去的 3D 运动,同时也可以通过半监督学习从带有 2D 姿态标注的自然视频中学习。我们通过对来自互联网海量未标记数据的模型训练,通过已有的 2D 姿态检测器得到伪基础真值 2D 姿态,证明了我们的模型可以自举学习并在三维动作预测任务中获得最新的性能。
Dec, 2018