Oct, 2023

超人类：具有潜在结构扩散的超逼真人类生成

PDF
TL;DR通过建立大规模人体数据集 HumanVerse，结合深度学习模型和结构引导生成器，我们提出了 HyperHuman 方法，实现了生成真实自然的人体图像。
text-to-image modelshuman image generationcoherent and natural human imageshumanverse datasetstructure-guided refiner
发现论文，激发创造
  • HumanNorm：高质量和逼真的 3D 人体生成的正常扩散模型学习

    通过使用法线贴图对文本到图像传播模型进行微调，使其能够适应文本到法线传播模型，从而提高对三维几何体的二维感知，同时保留从大规模数据集中学习到的先验知识，从而实现高质量和逼真的三维人体生成。

    Oct, 2023

  • StructLDM：三维人体生成的结构化潜在扩散

    本研究提出了一种新的 3D 人体生成模型 StructLDM，通过在高维潜空间中建模人体的语义结构和拓扑，从而实现可控的 3D 人体生成和编辑，包括姿势 / 视角 / 形状控制、合成生成、服装编辑和虚拟试穿等。

    Apr, 2024

  • Human 3Diffusion：透过明确的 3D 一致性扩散模型实现逼真的头像创作

    通过构建新的模型，通过将 2D 扩散模型和 3D 重建模型进行紧密耦合，我们可以从单个 RGB 图像中创建逼真的头像，并实现几何和外观上的高保真度。

    Jun, 2024

  • DiffHuman：人体的概率光真实三维重建

    DiffHuman 是一种基于概率的方法，通过一个单一的 RGB 图像实现逼真的三维人体重建。与确定性方法不同，DiffHuman 根据二维图像预测三维重建的概率分布，可以生成与图像一致的多个详细的三维人体模型。此外，DiffHuman 还引入了一个生成器神经网络，可以以大幅减少的运行时间进行渲染，从而实现了一种新颖的双分支扩散框架。在实验中，DiffHuman 在重建可见表面方面与现有技术不相上下，并且可以对输入图像中未见或不确定的部分生成多样且详细的重建结果。

    Mar, 2024

  • MVHuman：多视采样定制的 2D 扩散用于逼真的 3D 人体生成

    利用 MVHuman 方案，通过多视角采样策略和预训练的 Stable Diffsuions 网络生成人体辐射场，无需微调或蒸馏，且优于现有的 3D 人体生成方法。

    Dec, 2023

  • Human4DiT: 基于 4D 扩散变换的自由观看人体视频生成

    我们提出了一种新颖的方法，可以从单个图像在任意视角下生成高质量、时空连贯的人类视频。我们的框架结合了 U-Nets 的精确条件注入和扩散变换器的在视角和时间上捕捉全局相关性的优势。核心是一个级联的 4D 变换器架构，可以分解关注点以跨视角、时间和空间维度，实现对 4D 空间的高效建模。我们通过将人类身份、相机参数和时间信号注入到相应的变换器中来实现精确的条件设定。为了训练这个模型，我们策划了一个跨图像、视频、多视角数据和 3D/4D 扫描的多维数据集以及多维训练策略。我们的方法克服了以 GAN 或基于 UNet 的扩散模型为基础的先前方法在处理复杂动作和视角变化时的局限性。通过广泛的实验证明，我们的方法能够合成逼真、连贯和自由观察的人类视频，为虚拟现实和动画等领域的先进多媒体应用铺平了道路。我们的项目网站为 https URL。

    May, 2024

  • HumanRef: 通过参考引导扩散进行的单张图像到三维人体生成

    使用单个参考图像生成 3D 人体模型是具有挑战性的，本文提出了一种从单视角输入生成 3D 人体模型的框架 HumanRef，通过引入参考引导评分蒸馏采样（Ref-SDS）方法有效地将图像指导纳入生成过程，实现了生成具有精细几何结构、逼真纹理和视角一致性的 3D 服装人物。

    Nov, 2023

  • 可塑扩散：单图像化身创造的三维一致扩散

    本研究工作旨在通过将 3D 可变模型整合到最新的多视角一致性扩散方法中，增强生成扩散模型在创建可控、照片般逼真的人类头像任务中的质量和功能。我们的实验证明了在基于关节的 3D 模型的准确约束下，生成流水线模型在单图像的新视角合成任务上的性能改进，更重要的是，这种整合实现了面部表情和身体姿势控制在生成过程中的无缝和准确融入。据我们所知，我们提出的框架是第一个允许从未见过的单一图像创建完全 3D 一致、可动画和照片般逼真的人类头像的扩散模型；广泛的定量和定性评估证明了我们的方法在新视角和新表情合成任务上相对于现有最先进的头像创建模型的优势。

    Jan, 2024

  • 文本为基础的人类图像生成中人本先验在扩散模型中的有效应用

    该研究论文探索将人类中心先验直接整合到模型微调阶段，通过人类中心对齐损失强化文本提示中的人类相关信息，以及通过扩散过程中的比例感知和逐步约束确保语义详细性和人类结构准确性，从而提高了合成基于用户编写提示的高质量人类图像的方法。

    Mar, 2024

  • 潜在扩散模型的人类对齐分析

    在这项工作中，我们分析了大规模数据训练的扩散模型对于三选一任务中人类响应的表示对齐情况，发现尽管其与人类响应的对齐程度与仅在 ImageNet-1k 上训练的模型相当，但去噪 U-Net 的对齐层主要为中间层而非瓶颈层，而且文本条件对于高噪声水平下的对齐显著改善，暗示了抽象文本信息的重要性，尤其是在生成的早期阶段。

    Mar, 2024