Apr, 2024

多正同反学习与姿态一致生成图像

PDF
TL;DR在本文中，我们通过实验证明了使用生成图像产生具有相同人体姿势的视觉上独特的图像，并提出了一种新颖的多正对比学习方法，该方法充分利用先前生成的图像来学习人体的结构特征。我们将整个学习过程称为 GenPoCCL。与当今最先进方法相比，GenPoCCL 仅使用不到 1% 的数据量，但更有效地捕捉到人体的结构特征，在多种以人为中心的感知任务中超过了现有方法。
发现论文，激发创造
  • 面向人类中心感知的多模态通用预训练

    本文提出 Human-Centric Multi-Modal Contrastive Learning 框架，通过密集内部样本对比学习和稀疏结构感知对比学习目标，实现多视角数据有效特征表示，为数据高效下游任务转移提供了通用的预训练模型。

    Mar, 2022

  • 合成训练图片以提升人体三维姿势估计

    本研究旨在通过人体姿态空间的采样和真实图像纹理的提取，建立一个全自动，可扩展的方法来合成姿态注释的图像，从而为 3D 姿态估计任务提供合成培训数据，最终证明 CNNs 在合成图像上训练可以在 3D 姿态估计任务上胜过在真实照片上训练。

    Apr, 2016

  • 对事实对比学习的鲁棒表达：通过因果图像合成

    利用计数事实图像生成的最新进展，我们提出了 CF-SimCLR，一种反事实对比学习方法，利用近似的反事实推理用于正样本对的创建，在胸部放射学和乳房 X 线检查的五个数据集上进行综合评估，证明 CF-SimCLR 可以显著提高对获得偏移的稳健性，在内部和外部分布的数据上都能获得更高的下游性能，特别是对于在训练过程中少见的领域。

    Mar, 2024

  • PCGAN：分区控制的人类图像生成

    用 Partition-Controlled GAN 生成符合目标姿势和背景的人类图像，模型通过提取和融合外观特征、姿势特征和背景特征来生成期望的图像，实验表明该方法不仅可以生成逼真的人类图像，还能符合预期的人体姿势和背景。

    Nov, 2018

  • 利用姿势分解和语义相关性实现结构感知的人像生成

    本文介绍了一种基于结构感知流的方法，利用语义部分将人体分解，来应对人物姿态变换并生成高质量图像，网络模块能够有效地捕捉人体局部和全局语义特征，实验结果表明，该方法在生成高质量图像方面胜过其他方法。

    Feb, 2021

  • 构造感知完全卷积神经网络的对抗学习用于地标定位

    通过结构感知的全卷积网络以及 GAN 的显式 / 隐式学习策略，该论文提出了一种解决单目图像中姿态估计问题的方法，并在 2D 和 3D 姿态估计以及人脸重要标识等相关任务上显著优于现有方法。

    Nov, 2017

  • 深度姿态姿势特征用于人体检测

    本文通过基于 poselets 的部分方法解决了在自然场景中检测人的问题，并使用 bootstrapping 方法收集了数以百万计的弱标记示例来训练卷积神经网络以区分不同的 poselet 类型和背景类。通过训练 poselet 模型来识别人并有效地预测边界框，其效果在 PASCAL 数据集上达到了最先进的水平。

    Jul, 2014

  • 跨视角和跨姿态的人体三维理解

    提出了一种基于自监督学习的预训练方法，使用仅图像的人类中心数据对模型进行训练，通过学习关于 3D 和人体运动的先验知识，在一系列人体相关任务中优于现有的自监督预训练方法，并在模型基于和不基于模型的人体网格重建的精调任务上达到了最先进的性能。

    Nov, 2023

  • 单目视角下的人类图像综合的风格和姿态控制

    本文提出了一种新方法，称为 StylePoseGAN，用于合成具有姿势和部位外观显式控制的照片真实感的人类图像，并能够将其用于虚拟换装、动作模仿和新视角合成等应用中。

    Feb, 2021

  • 半监督和弱监督的人体姿势估计

    本文提出了三种半监督和弱监督学习方案，通过利用卷积神经网络对人体姿态进行估计，实现了对无人类注释的训练图像中候选姿态和真正正面姿态的选择和提高。方案基于姿态聚类和离群姿态检测，可以选择更多的真正姿态，并在大规模人体姿态数据集上得到了验证。

    Jun, 2019