极线变换器
该研究论文提出了一种可应用于多视角 3D 姿态估计中的变换器框架,该框架可以直接整合来自不同视角的信息,以改善 2D 预测器的性能。同时,研究人员还提出了一个名为 Epipolar field 的概念,它可以将 3D 位置信息编码到变换器模型中。实验证明,该方法更加高效,与其他融合方法相比有一致的改进。
Oct, 2021
此研究论文研究如何从单个 RGB 图像自动重建场景的完整 3D 模型,它采用一种新的 Epipolar Feature Transformer 技术来联合图像的多层深度表示和卷积神经网络特征以提高场景信息的准确性。
Feb, 2019
通过提出一种新颖的编码器 - 解码器 Transformer 架构,结合多视角和时间信息、几何关系和 2D 姿态检测可信度,我们解决了估计多视图下遮挡和受限重叠视图的 3D 人体姿势的挑战。我们的实验表明该方法在传统三角定位方法的具有挑战性的遮挡场景和视图受限场景中表现出很好的效果。
Dec, 2023
我们提出了一个多阶段的 3D 序列到序列人体姿势检测框架,利用变压器的自注意力机制从多视角视频数据中捕捉空间 - 时间相关性,实验结果表明我们的方法在 Human3.6M 数据集上表现出色。
Jan, 2024
基于可学习的三角测量方法,使用两种新颖方案对多视图 3D 人体姿势估计进行了探索,其中一种使用置信度权重,另一种是基于体积聚合和三维卷积技术,具有端到端可微的特性,提高了 Human3.6M 数据集上的多视图姿态估计表现。
May, 2019
本研究提出了一种基于自主学习的 3D 人体姿态估计方法 EpipolarPose,可以不需要 3D 地面真实数据或相机外参信息,通过对多视图图像中的 2D 姿态进行估计,然后利用极线几何获得 3D 姿态和相机几何信息进行训练 3D 姿态估计,实验结果表明,在标准数据集 Human3.6M 和 MPI-INF-3DHP 上,本方法 在弱 / 自监督方法中取得了最新的最新最优成果,并提出了一种新的性能度量 Pose Structure Score (PSS) 来度量姿势相对于其地面真实性的结构合理性。
Mar, 2019
提出了一种名为 Fusionformer 的方法用于 3D 人体姿态估计任务,通过引入自身轨迹模块、互相轨迹模块和全局空间时间特征以及局部关节轨迹特征的融合,最终通过姿势精炼网络来平衡 3D 投影的一致性,并在两个基准数据集上进行评估,结果表明与基线方法 poseformer 相比,在 Human3.6M 数据集上分别提高了 2.4%的 MPJPE 和 4.3%的 P-MPJPE。
Oct, 2022
单目人体姿态估计(HPE)是从相机捕捉的单个 2D 图像中确定人体关节的 3D 位置。本研究提出了一种 EPOCH 框架,利用完整的透视相机模型进行姿态估计,并通过无监督学习得到比现有方法更好的泛化性能和最先进的结果。
Jun, 2024
本文提出了一种基于图模型和最大后验估计的多人跨视角估计的方法,旨在解决人体关节匹配和模型鲁棒性的问题,并在四个基准数据集上证明了该方法的有效性和优越性。
Jul, 2020
本文提出了一种名为 “Keypoint Transformer” 的深度神经网络结构,该结构可以通过二维关键点自注意力机制提取手部三维位姿,实验结果表明该算法在 InterHand2.6M 数据集上性能优于当前所有算法,并可以扩展到双手操纵物体的三维位姿估计,同时作者还提供了超过 75,000 个手部交互的三维场景数据集。
Apr, 2021