MAPConNet: 自监督的网格与点对比学习三维姿势转移

Apr, 2023

MAPConNet: 自监督的网格与点对比学习三维姿势转移

MAPConNet: Self-supervised 3D Pose Transfer with Mesh and Point Contrastive Learning

Jiaze Sun, Zhixiang Chen, Tae-Kyun Kim

TL;DR本研究提出了一种新的自我监督框架，用于三维姿势传输，并利用潜空间中的对比学习约束，实现无监督，半监督和全监督设置下的对比度学习。实验结果表明，我们的方法在受监督的 3D 姿势转移方面取得了最先进的结果，在无监督和半监督设置中取得了可比较的结果。

Abstract

3d pose transfer is a challenging generation task that aims to transfer the pose of a source geometry onto a target geometry with the target identity preserved. Many prior methods require keypoint annotations to find correspondence between the source and target. Current pose transfer m

3d pose transfer unsupervised learning contrastive learning latent space state-of-the-art results

发现论文，激发创造

CrossPoint: 自监督的跨模态对比学习，用于三维点云理解

本研究提出了一种名为 CrossPoint 的简单跨模态对比学习方法，通过自监督学习，在不需要人类标注的情况下，实现可转移的三维点云表示，通过最大化点云和相应渲染的二维图像之间的协议，实现了三维物体分类和分割等多项任务，并验证了我们的方法在提高点云理解方面的效果。

Mar, 2022

关键点辅助的弱监督三维姿势迁移

三维姿势转换的主要挑战是：1）没有不同角色执行相同姿势的配对训练数据；2）从目标网格中分离姿势和形状信息；3）难以应用于具有不同拓扑结构的网格。因此，我们提出了一种新颖的弱监督基于关键点的框架以克服这些困难。具体而言，我们使用一种与拓扑无关的关键点检测器和逆向运动学来计算源网格与目标网格之间的变换。我们的方法只需要对关键点进行监督，可以应用于具有不同拓扑结构的网格，并且对于目标来说是形状不变的，可以从目标网格中提取仅限于姿势的信息而不传递形状信息。我们进一步设计了一个循环重建来执行自监督姿势转换，而不需要具有与目标和源相同姿势和形状的地面实况变形网格。我们在基准人类和动物数据集上评估了我们的方法，在那里与最先进的无监督方法相比达到了卓越的性能，甚至与完全监督的方法相比具有可比性的性能。我们在更具挑战性的 Mixamo 数据集上进行测试，以验证我们的方法处理具有不同拓扑结构和复杂服装能力。跨数据集评估进一步展示了我们方法的强大泛化能力。

Jul, 2023

通用三维姿势转移的几何对比变换器

本研究提出了一种定制的三维网格 Transformer 模型，用于姿态转移任务，并在全局和局部上提高了几何不一致性的学习，从而实现了三维姿态转移，并推广到从未知空间的具有挑战性的网格上的交叉数据集任务。

Dec, 2021

基于对应学习和网格细化的三维姿态转移

该论文提出了一种对人类和动物网格控制姿势的方法，该方法通过优化传输问题建立源网格和目标网格之间的对应关系，并使用弹性实例归一化的条件归一化层来提高生成网格的质量。

Sep, 2021

基于几何自监督的无监督三维姿态估计

通过采用无监督学习技术，基于来自单个图像的 2D 骨架关节，我们提出了一种恢复 3D 人体姿势的方法，该方法不需要任何多视图图像数据、3D 骨架、2D-3D 点之间的对应关系或在训练过程中使用先前学习的 3D 先验知识。我们的方法采用一个 lifting 网络将 2D 关键点作为输入，并生成相应的 3D 骨架估计，其中我们通过在随机相机视点重投影修复后的 3D 骨架来产生新的 “合成” 2D 姿态。我们还训练了一个 2D 域适配器网络来扩展 2D 数据，并通过自适应正则化机制使域适应效果更好。最终，在 Human3.6M 数据集上，我们的方法对无监督三维 lifting 的改进达到了 30％，并且优于许多明确使用 3D 数据的弱监督方法。

Apr, 2019

基于扩散驱动的自监督学习用于形状重建和姿态估计

我们引入了一种扩散驱动的自监督网络，用于多目标形状重建和分类姿态估计，并且仅利用形状先验信息，通过点卷积层和图卷积层来捕捉姿态特征和形状信息，通过预训练和精炼的自监督训练范式训练我们的网络。实验证明，我们的方法明显优于最先进的自监督分类级别基准，并且甚至超过一些全监督实例级别和分类级别方法。

Mar, 2024

多模态非刚性三维形状匹配的自监督学习

通过将基于网格的功能映射正则化与连续损失相结合的自监督多模态学习策略相结合，我们提出了一种形状匹配方法，它能够针对三角形网格、完整点云和部分观测点云获得同模式和跨模态的对应关系，并在多个基准数据集上取得了最先进的结果，具有先前未见的跨数据集普适性。

Mar, 2023

ContraNeRF: 通过对比学习和无监督隐式姿态嵌入的三维感知生成模型

本文提出了一种使用对比学习和隐式姿态嵌入的 3D 感知生成对抗网络优化技术。通过重新设计鉴别器，从而消除对基准相机姿态的依赖性，使其更好地捕捉给定图像的隐式姿态嵌入，并在姿态嵌入上进行对比学习，实验结果表明在多个物体类别和不一致的基准相机姿态数据集上显著优于现有方法。

Apr, 2023

跨模态和跨视角自监督特征学习

通过利用跨模式和视角的对应关系，该论文提出了一种新颖且有效的自监督学习方法，联合学习 2D 图像特征和 3D 点云特征，并通过神经网络评估跨模态的对应关系，而无需使用人工标注标签。

Apr, 2020

无监督姿态流学习用于姿态引导合成

本文提出了一种无监督姿势流学习方案，通过学习源图像的姿势流，进而使用多尺度特征域对齐进行粗到细的综合，在 DeepFashion,MVC 数据集和其他真实世界数据集上进行实验，结果表明该方法在保留外观信息方面效果显著，并且具有良好的泛化性，适用于不同的服装风格和姿势类型。

Sep, 2019