CVPRMar, 2023

HumanBench: 采用投影助推训练方法实现通用的以人为中心感知

PDF
TL;DR该研究提出了一个基于广泛应用的数项任务，即人类中心感知和下游任务的普适性预训练模型，同时提出了一个基于数据集的综合评估方法 HumanBench 和一种细粒度知识预训练方法 PATH。实验结果表明，PATH 在 17 个下游数据集上达到新的最优结果，在其他两个数据集上与最好的结果相当。
human-centric perceptionspretrain modelhumanbenchprojector assisted hierarchical pretraining methoddownstream tasks
发现论文，激发创造
  • 跨视角和跨姿态的人体三维理解

    提出了一种基于自监督学习的预训练方法，使用仅图像的人类中心数据对模型进行训练，通过学习关于 3D 和人体运动的先验知识，在一系列人体相关任务中优于现有的自监督预训练方法，并在模型基于和不基于模型的人体网格重建的精调任务上达到了最先进的性能。

    Nov, 2023

  • UniHCP: 人类中心感知的统一模型

    本文提出了 UniHCP，一个使用简化的端到端模式和平面视觉转换器架构，将广泛的以人为中心的任务统一起来的集成模型，通过在 33 个数据集上进行大规模联合训练，在多个领域和下游任务上直接评估优于强基线结果，在适应特定任务时，UniHCP 在多种以人为中心的任务上取得新的最佳性能。

    Mar, 2023

  • 只学一次查询：单阶段多人多任务人类中心感知的统一人类查询学习

    该研究提出了一种统一而全面的人类中心感知 (HCP) 框架 (HQNet)，通过学习一个统一的人类查询表示 (Human Query) 来解决单阶段多人多任务的人类中心感知问题。实验结果表明该方法在多任务人类中心感知模型中表现出色，并与任务特定的人类中心感知模型的性能相媲美，同时还展示了人类查询在新的 HCP 任务上的适应性和鲁棒的泛化能力。

    Dec, 2023

  • CapHuman: 捕捉你在平行宇宙的瞬间

    我们提出了一种名为 CapHuman 的新框架，通过 “编码然后学习对齐” 的范例，能够在推理过程中对新的个体进行可推广的身份保留，通过引入三维面部先验以实现对人头的灵活和三维一致的控制，从而产生具有丰富内容表示和各种不同头部造型、超越现有基线模型的身份保留、逼真和高保真肖像画。

    Feb, 2024

  • 启发式视觉预训练的自监督和有监督多任务学习

    提出了一个结合自监督学习和监督学习的多任务预训练框架，用于识别多种视觉任务，结果表明该模型能够达到或超过多个视觉任务的最先进结果的能力。

    Oct, 2023

  • 无需真实人类学习人体动作识别表征

    利用去除真实人类的真实世界视频和包含虚拟人类的合成数据进行预训练，提出了一种新颖的隐私保护多重自编码对齐（MAE-Align）的预训练策略，通过线性探测和微调在下游任务中缩小了人类动作识别表示和非人类动作识别表示之间的性能差距。

    Nov, 2023

  • HUNTER：通过从合成实例向真实场景传递知识实现无监督的人体中心化三维检测

    基于合成人体实例向真实场景中的无监督 3D 检测方法，通过弥合合成模型和真实点云之间的数据表示和特征分布差异，实现了在人体中心场景中优于当前最先进技术的表现，达到了显著的 87.8％mAP 改进并接近全监督方法的性能（62.15 mAP vs. 69.02 mAP）在 HuCenLife 上。

    Mar, 2024

  • 面向人类中心感知的多模态通用预训练

    本文提出 Human-Centric Multi-Modal Contrastive Learning 框架，通过密集内部样本对比学习和稀疏结构感知对比学习目标，实现多视角数据有效特征表示，为数据高效下游任务转移提供了通用的预训练模型。

    Mar, 2022

  • 缓解机器人操作中的人机领域差异问题

    利用人机视频数据进行对齐来适应预先训练模型到机器人领域，在多个任务中实现了显著的成功率提升。

    Jun, 2024

  • PonderV2：铺设通向通用预训练范式的 3D 基础模型之路

    通过可微分神经渲染，我们提出了一个新的通用方法来学习点云表示，实现了 3D 和 2D 之间的无缝集成，并在室内和室外场景中的多个任务中实现了卓越的性能和持续改进。

    Oct, 2023