该研究提出了一种统一而全面的人类中心感知 (HCP) 框架 (HQNet)，通过学习一个统一的人类查询表示 (Human Query) 来解决单阶段多人多任务的人类中心感知问题。实验结果表明该方法在多任务人类中心感知模型中表现出色，并与任务特定的人类中心感知模型的性能相媲美，同时还展示了人类查询在新的 HCP 任务上的适应性和鲁棒的泛化能力。

Dec, 2023

Hulk 是第一个多模态的人本主义通用模型，可以同时处理大多数主流任务，无需任务特定的微调，涵盖 2D 视觉、3D 视觉、基于骨架的和视觉语言任务。

Dec, 2023

UniHuman 是一个统一的模型，通过利用人类视觉编码器的指导和引入轻量级的姿势扭曲模块来提高模型的生成质量和泛化能力，并在真实环境中解决了人类图像编辑的多个方面。

Dec, 2023

我们提出了一种名为 CapHuman 的新框架，通过 “编码然后学习对齐” 的范例，能够在推理过程中对新的个体进行可推广的身份保留，通过引入三维面部先验以实现对人头的灵活和三维一致的控制，从而产生具有丰富内容表示和各种不同头部造型、超越现有基线模型的身份保留、逼真和高保真肖像画。

Feb, 2024

本文提出了 UniHPE，它是一个统一的人体姿势估计流程，通过同一流程中对所有三种模态进行特征对齐，即 2D 人体姿势估计、基于 lifting 和基于图像的 3D 人体姿势估计。我们提出了一种新的基于奇异值的对比学习损失函数来同时对齐多个模态，从而提高性能。评估结果显示 UniHPE 在 Human3.6M 数据集上的 MPJPE 为 50.5mm，3DPW 数据集上的 PAMPJPE 为 51.6mm，显示出巨大的潜力来推动计算机视觉领域并贡献于各种应用。

Nov, 2023

该研究提出了一个基于广泛应用的数项任务，即人类中心感知和下游任务的普适性预训练模型，同时提出了一个基于数据集的综合评估方法 HumanBench 和一种细粒度知识预训练方法 PATH。实验结果表明，PATH 在 17 个下游数据集上达到新的最优结果，在其他两个数据集上与最好的结果相当。

Mar, 2023

本文提出了一个大规模多模态数据集 HuCenLife，用于人类中心场景理解，可用于人类姿势和动作的多样性、人与环境的复杂交互、拥挤场景中的遮挡等问题的研究，还提供了用于分割、检测和动作识别的基准测试任务，并设计了适用于大规模人类中心场景的新颖模块，实现了最先进的性能。

Jul, 2023

模型预训练对以人为中心的感知至关重要。本文介绍了一种称为 MIM 的预训练方法，并在其基础上引入了人体结构先验，通过人体部位的引导来指导掩码采样过程，从而更好地捕捉人体结构信息。此外，我们还提出了一种结构不变的对齐损失，通过人体部位先验来引导不同的掩码视图在同一图像上紧密对齐。该方法命名为 HAP，使用简单的 ViT 编码器，在 11 个人体为中心的基准测试上取得了新的最高性能，一个数据集上与现有方法相当。例如，对于人员重新识别，HAP 在 MSMT17 上实现了 78.1% 的 mAP，在行人属性识别的 PA-100K 上实现了 86.54% 的 mA，在 MS COCO 上实现了 78.2% 的 AP，可以进行 2D 姿势估计，在 3DPW 上实现了 56.0 的 PA-MPJPE，可进行 3D 姿势和形状估计。

Oct, 2023

基于合成人体实例向真实场景中的无监督 3D 检测方法，通过弥合合成模型和真实点云之间的数据表示和特征分布差异，实现了在人体中心场景中优于当前最先进技术的表现，达到了显著的 87.8％mAP 改进并接近全监督方法的性能（62.15 mAP vs. 69.02 mAP）在 HuCenLife 上。

Mar, 2024

本文提出 Human-Centric Multi-Modal Contrastive Learning 框架，通过密集内部样本对比学习和稀疏结构感知对比学习目标，实现多视角数据有效特征表示，为数据高效下游任务转移提供了通用的预训练模型。

Mar, 2022