Jul, 2023

My3DGen: 构建轻量化个性化 3D 生成模型

PDF
TL;DRMy3DGen 是一个实用系统，使用不超过 10 张图像创建个性化和轻量级的 3D 生成先验系统。该系统利用预训练模型的固定权重作为通用先验，通过低秩分解在每个卷积和完全连接层的权重上进行单独的个性化先验训练，并通过基于人脸对称的规则化技术调整网络，指导其学习参数并减少过拟合。该系统仅增加了与完全微调的原始模型相比，每个身份约 0.6 百万个附加参数，同时保持生成的 3D 人脸的质量。
3d generative priorpersonalizationsymmetry regularizationlow-rank fine-tuningmodel size reduction
发现论文，激发创造
  • MyPortrait: 可塑形先导定制肖像生成

    在计算机视觉领域，生成逼真的说话脸部是一个有趣且长期存在的课题。尽管已经取得了显著的进展，但是生成具有个性化细节的高质量动态脸部仍然具有挑战性。本文提出了一种简单、通用且灵活的神经画廊生成框架 Myportrait，在单目视频中加入个性化先验和三维人脸形变空间的可变先验，在新的可控参数下生成个性化细节。我们的框架支持基于视频和基于音频的面部动画，给定单个人的单目视频。通过测试数据是否发送到训练中，我们的方法提供了实时在线版本和高质量离线版本。广泛的实验证明了我们方法在各个指标上优于最先进方法。代码将公开发布。

    Dec, 2023

  • MyStyle: 个性化生成先验

    本文介绍了 MyStyle，这是一种使用少量照片训练的个性化深度生成先验的方法，其可以重建、增强和编辑特定人物的图像，生成的图像忠实于人物的关键面部特征。通过少量照片我们可以调整预训练的 StyleGAN 面部生成器的权重，形成一个本地的、低维的、个性化的流形空间，该流形空间包含与个人不同的各种肖像图片的潜在编码。此外，我们提出了一种统一的方法，将其应用于各种不适定的图像增强问题，例如修复、超分辨率和语义编辑，并取得了优异的定量和定性水平。

    Mar, 2022

  • ImageNet 的 3D 生成

    本文提出了一种基于 3D GAN 的 3D 生成器，采用了不同于以往的数据假设、深度框架和相机模型，在多样化数据集（如 ImageNet）上取得了优于现有技术的纹理和几何质量的结果。

    Mar, 2023

  • Portrait3D：基于单张野外人像图像的 3D 头部生成

    提出了 Portrait3D 框架，通过将肖像图像的身份信息整合到几何初始化、几何塑造和纹理生成阶段中，实现了从单幅肖像图像生成高质量 3D 头像的方法。

    Jun, 2024

  • 从最少的数据中构建 3D 生成模型

    提出了一种从单个三维网格构建生成模型并通过无监督低级别学习从二维图像中改进的方法，该方法生成了一个 3D 可变形模型，该模型由高斯过程表示形状和色调，从单个扫描或模板构建 3D 可变形模型的方法比以往的方法更优秀， 并已在面部领域得到了证明。

    Mar, 2022

  • One2Avatar: 少样本用户自适应的生成式隐式头像

    使用少量图像创建高质量的个性化头像，通过学习生成模型和 3DMM 锚定的神经辐射场骨干构建先验，实现基于少量输入图像的自动解码，优化 3DMM 拟合和相机校准以改进少样本自适应，开创了创建更高效个性化头像的道路，超越现有最先进的方法。

    Feb, 2024

  • PV3D：肖像视频生成的三维生成模型

    PV3D 提出了第一种生成性框架，它可以合成多视角一致的肖像视频，通过添加多个运动层构建运动生成器来引入运动动态，并提出了简单而有效的摄像机条件策略，能够支持许多下游应用，如动画静态肖像和视角一致的视频运动编辑。

    Dec, 2022

  • Portrait3D: 基于金字塔表示和 GANs 先验的高质量 3D 肖像生成

    使用神经渲染基于文本到 3D 肖像生成的新方法，通过集合几何外观先验，实现了对之前的问题 - 几何困境、过度饱和和过度平滑 - 的克服，展示了生成与文本一致的逼真高质量 3D 肖像的新框架 Portrait3D。

    Apr, 2024

  • 用于三维形态建模与重建的深度优化先验

    该研究提出了一种新的 3D 建模和重建学习框架，通过连接基于学习和基于优化的方法的优点并优化学习的先验和潜在编码，提高了深度生成器的广义性。实验结果显示，该方法在处理高度稀疏或坍塌的观测数据方面比现有方法都有优势。

    Dec, 2020

  • 自由风格和快速的 3D 肖像合成

    提出了一种利用文本提示来指定风格的快速 3D 肖像合成框架，该方法借助生成先验来构建少量样本，采用目标样式替换预训练 3D 生成器的三层平面生成器，从而实现了高质量和一致性风格合成。

    Jun, 2023