UniHuman: 一款用于编辑野外人像的统一模型
本文介绍一种基于多视角融合技术的人物造型编辑方法,通过多视角输入的关键点和纹理信息生成像素级外观检索图,并应用于多视角人物造型和人物图像混合等任务,研究单视角编辑的限制与多视角的优势。
Nov, 2022
我们提出了一种名为 CapHuman 的新框架,通过 “编码然后学习对齐” 的范例,能够在推理过程中对新的个体进行可推广的身份保留,通过引入三维面部先验以实现对人头的灵活和三维一致的控制,从而产生具有丰富内容表示和各种不同头部造型、超越现有基线模型的身份保留、逼真和高保真肖像画。
Feb, 2024
本文提出了 UniHCP,一个使用简化的端到端模式和平面视觉转换器架构,将广泛的以人为中心的任务统一起来的集成模型,通过在 33 个数据集上进行大规模联合训练,在多个领域和下游任务上直接评估优于强基线结果,在适应特定任务时,UniHCP 在多种以人为中心的任务上取得新的最佳性能。
Mar, 2023
该研究提出了一种统一而全面的人类中心感知 (HCP) 框架 (HQNet),通过学习一个统一的人类查询表示 (Human Query) 来解决单阶段多人多任务的人类中心感知问题。实验结果表明该方法在多任务人类中心感知模型中表现出色,并与任务特定的人类中心感知模型的性能相媲美,同时还展示了人类查询在新的 HCP 任务上的适应性和鲁棒的泛化能力。
Dec, 2023
本研究旨在通过限定人体的粗略轮廓并控制特定服装类型实现真实人体图像的完整生成建模。我们提出了一种端到端可训练的生成式对抗网络架构,它提供了细节控制来生成具有高逼真度的图片,同时无需成对的训练数据,不必拟合 3D 姿势到 2D 图像的困难问题。该模型允许对基于目标领域的图像或标记特定的类别样式(例如 T 恤)进行条件生成。我们对该架构和每个独立要素的贡献进行了充分的实验评估,并通过大规模知觉研究表明,我们的方法可以生成逼真的图像,并且如果面部被模糊化,参与者很难识别真实的图片和虚假的图片之间的区别。
Jan, 2019
本研究设计了一种人类图像生成的生成模型,能够控制姿势,不同身体局部的外貌以及服装风格,能够生成高逼真度的图像,并在不同方面表现出色,如姿态控制、部位和服装转移以及关节采样。
Mar, 2021
本文提出了 UniHPE,它是一个统一的人体姿势估计流程,通过同一流程中对所有三种模态进行特征对齐,即 2D 人体姿势估计、基于 lifting 和基于图像的 3D 人体姿势估计。我们提出了一种新的基于奇异值的对比学习损失函数来同时对齐多个模态,从而提高性能。评估结果显示 UniHPE 在 Human3.6M 数据集上的 MPJPE 为 50.5mm,3DPW 数据集上的 PAMPJPE 为 51.6mm,显示出巨大的潜力来推动计算机视觉领域并贡献于各种应用。
Nov, 2023
本研究从数据工程的角度出发,收集并注释了一个大规模人类图像数据集,并通过实验研究了数据量、数据分布和数据对齐等因素对 StyleGAN 生成高保真无条件人类图像的影响。结果显示,需要超过 40K 的大规模数据来训练高保真的 StyleGAN 生成模型;平衡的训练集有助于提高对罕见姿势的生成质量,而简单平衡服装纹理分布并不能有效改善生成效果;以身体中心为对齐锚点的人类 GAN 模型胜过使用面部中心或骨盆点对齐的模型。
Apr, 2022
本文提出了一种新的框架来使用人类反馈来改进指导性视觉编辑,通过学习奖励函数捕捉用户偏好并采用可扩展的扩散模型微调方法以处理数据限制带来的偏见,同时贡献了新的数据集以提升性能。实验证明该方法比之前的最先进的指导图像编辑方法更受欢迎。
Mar, 2023