Dec, 2023

Make-A-Character: 高质量文本转 3D 人物生成

PDF
TL;DR使用大规模语言和视觉模型构建一个名为 Make-A-Character（Mach）的用户友好框架，通过文本描述创造栩栩如生的 3D 化身，满足用户期望，并能与现有的计算机图形技术（CG）流程轻松集成。
customized 3d charactersai agentsmetaversemake-a-characterlifelike 3d avatars
发现论文，激发创造
  • 文本生成可动画三维化人形头像

    DreamHuman 是一种从文本描述自动生成逼真可动的三维人物头像模型的方法，该方法将大规模的文本到图像合成模型、神经辐射场和统计人体模型连接在一起，以新颖的建模和优化框架产生动态三维人物头像，具有高质量的纹理、实例特定的表面变形和多样化的外观、衣着、肤色和身体形态。

    Jun, 2023

  • AvatarStudio：高保真和可动画三维头像从文本创建

    通过 AvatarStudio 生成高质量的、可动画的 3D 人物头像，首先使用低分辨率的基于 NeRF 的表示进行初步生成，然后结合 SMPL 引导关节活动增加明确的网格表示并支持头像动画和高分辨率渲染，在结果头像中引入基于 DensePose 的 2D 扩散模型以确保视角一致性和姿态可控性，利用 AvatarStudio 可以从文本中生成高质量的头像并具备动态效果，优于之前的方法，并且适用于多模态头像动画和风格引导头像创作等多个应用。

    Nov, 2023

  • AvatarVerse: 高质量 & 稳定的 3D 角色创建系统

    从高度定制的文本描述和姿势指导中创建富有表达力、多样化和高质量的 3D 头像是一项具有挑战性的任务。我们提出了 AvatarVerse，一个稳定的流水线，可以仅仅通过文本描述和姿势指导生成富有表达力和高质量的 3D 头像。

    Aug, 2023

  • Make-Your-3D：快速而一致的主题驱动三维内容生成

    我们引入了一种新颖的 3D 个性化方法，名为 Make-Your-3D，可以从单个主题图像和文本描述中提取个性化的高保真、一致的 3D 内容，在 5 分钟内完成。我们设计了一个共同进化的框架，通过身份感知优化和主题先验优化，使多视图扩散模型和身份特定的 2D 生成模型的分布与期望的 3D 主题的分布相一致。广泛的实验证明我们的方法可以产生高质量、一致性和主题特定的 3D 内容，并进行文本驱动的修改。

    Mar, 2024

  • AvatarBooth：高质量和可定制的 3D 人类化身生成

    AvatarBooth 是一种新方法，通过使用文本提示或特定图像生成高质量的 3D 头像，可以从捕捉的面部或身体图像中创建个性化头像，其利用双精度扩散模型控制头部和身体生成，增强了合成头部图像的多视图一致性，实现了高度逼真的头像生成，具有出色的渲染和几何质量。

    Jun, 2023

  • Text2Avatar：基于编码本驱动的身体可控属性的文本生成三维人体化身

    使用 Text2Avatar 生成的 3D 真实风格人物化身，可通过耦合的文本数据生成逼真的 3D 角色模型，从而帮助减少人物建模的成本和时间。

    Jan, 2024

  • 数字生活计划：具备社交智能的自主 3D 人物

    利用语言作为通用媒介构建自主三维角色的数字生活项目 (Digital Life Project) 框架，使其能够参与社交互动、表达并模拟数字环境中的生活；该框架包含两个主要组件：SocioMind 模块和 MoMat-MoGen 模块，通过认知建模和运动生成控制角色的数字化行为，实现了自主对话和情感进化，同时具备相关身体运动及人类玩家互动响应能力。

    Dec, 2023

  • 使用文本到图像扩散模型生成带有关节的 3D 头像

    本文提出了一种新的基于 3D 可塑模型（3DMM）的文本引导头部生成方法，利用扩散模型生成多视图一致性辐射场的同时更新几何和纹理以生成和文本描述一致的 3D 头部化身，以此在一定程度上提高 3D 头部生成的精度和多样性。

    Jul, 2023

  • 自然语言描述生成高保真 3D 人脸

    本研究提出了一种基于自然语言描述生成高质量三维人脸模型的方法，通过建立 Describe3D 数据集以及使用两阶段框架来解决描述语言空间与形状 / 外观空间映射关系的问题，并且实验结果表明，该方法可以以比以往更高的精度和质量生成符合输入描述的三维人脸。

    May, 2023

  • AvatarCLIP: 零样本文本驱动的 3D 头像生成与动画

    提出了一种使用自然语言驱动的零样本文本框架 --AvatarCLIP，用于三维头像的生成和动画制作，并利用 CLIP 来监督神经人类的生成，实现了超强的零样本能力。

    May, 2022