MagiCapture: 高分辨率多概念人像定制
在计算机视觉领域,生成逼真的说话脸部是一个有趣且长期存在的课题。尽管已经取得了显著的进展,但是生成具有个性化细节的高质量动态脸部仍然具有挑战性。本文提出了一种简单、通用且灵活的神经画廊生成框架 Myportrait,在单目视频中加入个性化先验和三维人脸形变空间的可变先验,在新的可控参数下生成个性化细节。我们的框架支持基于视频和基于音频的面部动画,给定单个人的单目视频。通过测试数据是否发送到训练中,我们的方法提供了实时在线版本和高质量离线版本。广泛的实验证明了我们方法在各个指标上优于最先进方法。代码将公开发布。
Dec, 2023
本研究提出了一种肖像重制方法,使用户能够轻松编辑其肖像以获得所需的姿势 / 视图、身体比例和服装样式,其中图形布局映射和语义感知外观转换被设计用于解决人体非刚性变形和语义感知编辑问题。
Jun, 2020
我们提出了一种名为 CapHuman 的新框架,通过 “编码然后学习对齐” 的范例,能够在推理过程中对新的个体进行可推广的身份保留,通过引入三维面部先验以实现对人头的灵活和三维一致的控制,从而产生具有丰富内容表示和各种不同头部造型、超越现有基线模型的身份保留、逼真和高保真肖像画。
Feb, 2024
该论文提出了一种高质量的面部捕捉方法,利用单个手机闪光灯序列在昏暗的房间中捕捉面部几何和外观,模拟了完整的面部包括皮肤、口腔内部、头发和眼睛,并展示了可以捕捉高质量的 3D 可光照化扫描。
Dec, 2023
本文介绍了 MyStyle,这是一种使用少量照片训练的个性化深度生成先验的方法,其可以重建、增强和编辑特定人物的图像,生成的图像忠实于人物的关键面部特征。通过少量照片我们可以调整预训练的 StyleGAN 面部生成器的权重,形成一个本地的、低维的、个性化的流形空间,该流形空间包含与个人不同的各种肖像图片的潜在编码。此外,我们提出了一种统一的方法,将其应用于各种不适定的图像增强问题,例如修复、超分辨率和语义编辑,并取得了优异的定量和定性水平。
Mar, 2022
本文提出了一个新的照片逼真人像生成框架,可以有效减轻「奇异山谷」效应,提高渲染人像的真实性。使用转移学习从渲染人像的潜在空间学习到真实人像的潜在空间的一致映射,使虚拟角色的人像在外观风格改变的同时保持面部身份的不变,通过细化 StyleGAN2 生成器以保留与面部身份相关的几何和色彩特征。通过定性和定量评估以及消融实验,证明了我们的方法相较于现有方法的优势。
Oct, 2023
本文提出了一个基于 ID 保持的讲话头生成框架,改进了以往的方法,使用密集地标点实现精确的几何感知流场与自适应融合源身份,使用元学习方法实现快速个性化模型的快速适应,并且增加时空增强模块以提高细节和时序性,实验表明本文的方法在单次和个性化设置中均显著优于现有技术。
Dec, 2022
本研究通过引入直接前馈机制和混合引导框架,以人物图像为重点,实现了保留主体身份的图像合成,旨在快速高效生成艺术肖像和身份融合图像,并在定性和定量评估中证明了方法在高保真度和效率方面的优越性。
Dec, 2023
本文提出了一种基于新开发的三维生成对抗网络(GANs)的画像图像动画的技术,该技术允许对图像主体的姿态进行明确控制,并展示了该方法在图像质量,身份保护和姿态转移等方面胜过先前的方法,同时支持属性修改。
Mar, 2022
本文提出了一种利用单个人的视频作为输入,通过个性化的视频先验学习技术和 Pivotal Tuning Inversion 方法,处理极端的头部姿势,生成可编辑的动态人像,并针对潜在空间进行姿势和表情分离的算法。
Jun, 2023