Feb, 2024

基于单张图像的实时三维感知肖像编辑

PDF
TL;DR该研究提出了 3DPE，一种能够根据给定提示（如参考图像或文字描述）以三维感知的方式高效编辑人脸图像的实用工具。通过从三维人像生成器和文本到图像模型中提取的一个轻量级模块，该系统提供面部几何知识和开放词汇编辑能力的先验知识。这种设计相比现有方法具有两个优势。首先，我们的系统使用前馈网络实现实时编辑（每图像约 0.04 秒），比第二位竞争者快 100 倍以上。其次，得益于强大的先验知识，我们的模块能够专注于学习与编辑相关的变化，在训练阶段同时处理各种类型的编辑，并在推断过程中快速适应用户指定的新型编辑（例如，每个案例约需要 5 分钟微调）。为了便于未来研究，代码、模型和界面将公开提供。
3dpeface image editing3d-awareprior knowledgereal-time editing
发现论文，激发创造
  • IDE-3D: 高分辨率三维感知人像综合的交互式分离式编辑

    本文提出了一个结合了低分辨率可编辑性和高质量的生成模型，是 3D-semantics-aware 方法的新途径，在视图一致、语义分离的面部图像方面具有状态 - of-the-art 的性能、忠实度和效率。

    May, 2022

  • InstructPix2NeRF: 从单张图像指导的 3D 人像编辑

    通过建立一种名为 InstructPix2NeRF 的端到端扩散型框架，实现对单个开放世界图像的人类指导的三维感知人像编辑，实现了多语义编辑，保存了人像身份信息，并通过身份一致性模块增强了多视角三维身份的一致性，实验证明了该方法在定量和定性上的优越性。

    Nov, 2023

  • Portrait3D：基于单张野外人像图像的 3D 头部生成

    提出了 Portrait3D 框架，通过将肖像图像的身份信息整合到几何初始化、几何塑造和纹理生成阶段中，实现了从单幅肖像图像生成高质量 3D 头像的方法。

    Jun, 2024

  • DreamIdentity：提高可编辑性，实现高效面部身份保留图像生成

    该论文提出了一种优化自由的面部识别编码器，以在条件面部图像中保留面部标识符，并提出了自我增强的可编辑性学习方法，从而在更快的速度下生成具有不同场景下的保留标识符的图像。

    Jul, 2023

  • 自由风格和快速的 3D 肖像合成

    提出了一种利用文本提示来指定风格的快速 3D 肖像合成框架，该方法借助生成先验来构建少量样本，采用目标样式替换预训练 3D 生成器的三层平面生成器，从而实现了高质量和一致性风格合成。

    Jun, 2023

  • 利用 StyleGAN 的个性化视频先验，用于可编辑的动态肖像

    本文提出了一种利用单个人的视频作为输入，通过个性化的视频先验学习技术和 Pivotal Tuning Inversion 方法，处理极端的头部姿势，生成可编辑的动态人像，并针对潜在空间进行姿势和表情分离的算法。

    Jun, 2023

  • 基于参考的面部组件编辑

    本论文提出一个名为 r-FACE 的新框架，用于多样化和可控的面部组件编辑，利用参考图像控制面部组件的形状，并通过设计示例引导的注意模块来聚焦目标面部组件的重点进行目标编辑。

    Jun, 2020

  • FENeRF: 神经辐射场中的人脸编辑

    使用 FENeRF 三维图像生成器，为了在保持视觉一致性的同时生成本地可编辑的肖像图像，我们提出了一种方法。

    Nov, 2021

  • MyPortrait: 可塑形先导定制肖像生成

    在计算机视觉领域，生成逼真的说话脸部是一个有趣且长期存在的课题。尽管已经取得了显著的进展，但是生成具有个性化细节的高质量动态脸部仍然具有挑战性。本文提出了一种简单、通用且灵活的神经画廊生成框架 Myportrait，在单目视频中加入个性化先验和三维人脸形变空间的可变先验，在新的可控参数下生成个性化细节。我们的框架支持基于视频和基于音频的面部动画，给定单个人的单目视频。通过测试数据是否发送到训练中，我们的方法提供了实时在线版本和高质量离线版本。广泛的实验证明了我们方法在各个指标上优于最先进方法。代码将公开发布。

    Dec, 2023

  • Real3D-Portrait: 一次合成逼真的 3D 语音肖像

    Real3D-Potrait 是一种框架，通过使用大型图像到平面模型和高效的运动适配器，从而改进了一次性 3D 重建的能力，实现了精确的运动条件动画，并利用头 - 躯干 - 背景超分辨率模型生成具有自然躯干运动和可切换背景的逼真视频，同时支持一次性以音频驱动的说话脸生成。与以前的方法相比，广泛的实验证明 Real3D-Portrait 对于未见过的身份具有很好的泛化能力，并生成更逼真的说话肖像视频。

    Jan, 2024