Instruct-Video2Avatar: 使用说明的视频头像生成
本文提出了一种新颖的以文本为导向的方法，用于生成情感表达的二维化身，提供了细粒度控制、改进的交互性和对生成视频的泛化能力，实验结果表明，该方法在细粒度情感控制、唇同步质量和自然度方面优于现有方法。
May, 2024
本文提出了 AvatarStudio—— 一种基于文本的方法，用于编辑动态全头人物角色的外观。该方法与现有的神经辐射场 (NeRF) 捕捉动态表现的工作相结合，并用文本 - 图像扩散模型对其进行编辑。经过我们视觉和数字方面的用户体验后，发现我们的方法优于现有的方法。
Jun, 2023
我们提出了一种从只有一个肖像作为参考的照片逼真数字化头像的合成方法。该方法使用驱动关键点特征合成粗糙的说话头视频。使用粗糙视频，该方法使用变形神经辐射场合成粗糙的说话头头像。通过渲染粗糙头像的图像，该方法使用盲目人脸修复模型更新低质量图像。通过更新后的图像，我们重新训练以获得更高质量的头像。经过几轮迭代，我们的方法可以合成逼真的可动画的 3D 神经头像。我们的方法通过在各种主题上进行定量和定性研究超越了最先进的方法。
Jul, 2023
使用少量图像创建高质量的个性化头像，通过学习生成模型和 3DMM 锚定的神经辐射场骨干构建先验，实现基于少量输入图像的自动解码，优化 3DMM 拟合和相机校准以改进少样本自适应，开创了创建更高效个性化头像的道路，超越现有最先进的方法。
Feb, 2024
本文介绍了一种基于预训练模型和条件式 3D U-Net 结构的、可以通过自然语言指令编辑视频的方法，同时提出了一种新的视帧差异损失函数，可以在训练过程中提高生成视频的时序一致性，实验表明该方法生成的视频质量高、时序连贯，能够进行多种视频编辑操作。
May, 2023
通过只使用单目视频和文本说明作为输入，我们提出了一个高质量且用户友好的肖像调整框架 CosAvatar，可以生成具有时间和 3D 一致性的可动画肖像。与直接在 2D 域中进行编辑的方法不同，我们使用动态 NeRF-based 3D 肖像表示来建模头部和躯干，通过交替编辑视频帧集和更新底层 3D 肖像，直到编辑帧达到 3D 一致性。此外，我们还整合了语义肖像先验知识，以增强编辑结果，实现在指定语义区域进行精确修改。大量结果表明，我们提出的方法不仅可以根据文本说明准确编辑肖像风格或局部属性，还支持由源视频驱动的表达性动画。
Nov, 2023
本文提出了一种新的基于 3D 可塑模型（3DMM）的文本引导头部生成方法，利用扩散模型生成多视图一致性辐射场的同时更新几何和纹理以生成和文本描述一致的 3D 头部化身，以此在一定程度上提高 3D 头部生成的精度和多样性。
Jul, 2023
我们提出了神经头像，该方法能够显式建模动画人物头像的表面几何形状和外观，是虚拟现实和其他电影或游戏应用中数字人物的一种有效表示方法，它能够从单目 RGB 人像视频中学习，能够精确地外推到未知姿态和观察角度，并产生自然的表情和清晰的纹理细节。
Dec, 2021