通用三维姿势转移的几何对比变换器
本研究提出了一种新的自我监督框架,用于三维姿势传输,并利用潜空间中的对比学习约束,实现无监督,半监督和全监督设置下的对比度学习。实验结果表明,我们的方法在受监督的 3D 姿势转移方面取得了最先进的结果,在无监督和半监督设置中取得了可比较的结果。
Apr, 2023
TransPose 是一个利用 Transformer 编码器和几何感知模块的 6D 姿态框架,用于提取和利用深度信息中的几何特征,以实现更准确的预测。通过统一采样点云,并借助设计的局部特征提取器和图卷积网络提取局部几何特征;采用 Transformer 进行全局信息交换,使每个局部特征包含全局信息;最后,在 Transformer 编码器中引入几何感知模块,为点云特征学习提供有效约束,并使全局信息交换与点云任务更加紧密结合。实验结果表明,通过 TransPose 的 6D 姿态估计管道在三个基准数据集上取得了有竞争力的结果。
Oct, 2023
我们的研究旨在提高 Transformer 的三维推理能力,在多视图三维人体姿势估计中。通过引入一种新的混合模型,MVGFormer,该模型采用一系列的几何和外观模块,以迭代方式组织。其中,几何模块通过几何方式处理依赖于视角的三维任务,显著改善了模型的泛化能力。外观模块是可学习的,并且专门用于从图像信号中端到端地估计二维姿势,即使在出现遮挡时也能获得准确的估计结果,从而实现了准确性和适用于新的摄像机和几何形状的模型。经过领域内外的评估,我们的模型始终优于最先进的方法,特别是在领域外的情况下有明显的优势。我们将发布代码和模型:this URL
Nov, 2023
本研究提出一种几何对比生成对抗网络 (GC-GAN),其通过将连续的情感跨越不同个体,将具有特定情感的原始面孔转化为带有目标面部表情的面部表情迁移技术。
Feb, 2018
本文提出了一种无监督的方法,使用新颖的 IEP-GAN 模型实现了任意给定 3D 网格之间的姿态转移,包括人体、动物和手等各种数据集,并展示了使用该模型进行姿态转移、身份交换和姿态插值的可能性。
Aug, 2021
本文提出了一种使用对比学习和隐式姿态嵌入的 3D 感知生成对抗网络优化技术。通过重新设计鉴别器,从而消除对基准相机姿态的依赖性,使其更好地捕捉给定图像的隐式姿态嵌入,并在姿态嵌入上进行对比学习,实验结果表明在多个物体类别和不一致的基准相机姿态数据集上显著优于现有方法。
Apr, 2023
通过提出一种新颖的编码器 - 解码器 Transformer 架构,结合多视角和时间信息、几何关系和 2D 姿态检测可信度,我们解决了估计多视图下遮挡和受限重叠视图的 3D 人体姿势的挑战。我们的实验表明该方法在传统三角定位方法的具有挑战性的遮挡场景和视图受限场景中表现出很好的效果。
Dec, 2023
本文研究了利用卷积神经网络需要显式的 3D 偏置模型来模拟立体几何变换,而相比之下,使用基于变换器的模型可以在不需要手动设计 3D 偏置的情况下,通过全局注意机制和概率形式隐式地学习源视图和目标视图之间的长距离 3D 对应关系来生成全新视图,克服了先前方法面对相对较小的视角变化的限制。实验表明,不需要几何先验知识时,变换器仍能隐式地学习 3D 之间的关系,并且在视觉质量方面优于现有技术。
Apr, 2021
该论文提出了一种对人类和动物网格控制姿势的方法,该方法通过优化传输问题建立源网格和目标网格之间的对应关系,并使用弹性实例归一化的条件归一化层来提高生成网格的质量。
Sep, 2021
三维姿势转换的主要挑战是:1)没有不同角色执行相同姿势的配对训练数据;2)从目标网格中分离姿势和形状信息;3)难以应用于具有不同拓扑结构的网格。因此,我们提出了一种新颖的弱监督基于关键点的框架以克服这些困难。具体而言,我们使用一种与拓扑无关的关键点检测器和逆向运动学来计算源网格与目标网格之间的变换。我们的方法只需要对关键点进行监督,可以应用于具有不同拓扑结构的网格,并且对于目标来说是形状不变的,可以从目标网格中提取仅限于姿势的信息而不传递形状信息。我们进一步设计了一个循环重建来执行自监督姿势转换,而不需要具有与目标和源相同姿势和形状的地面实况变形网格。我们在基准人类和动物数据集上评估了我们的方法,在那里与最先进的无监督方法相比达到了卓越的性能,甚至与完全监督的方法相比具有可比性的性能。我们在更具挑战性的 Mixamo 数据集上进行测试,以验证我们的方法处理具有不同拓扑结构和复杂服装能力。跨数据集评估进一步展示了我们方法的强大泛化能力。
Jul, 2023