基于文本的可控人类图像生成

May, 2022

Text2Human: Text-Driven Controllable Human Image Generation

Yuming Jiang, Shuai Yang, Haonan Qiu, Wayne Wu, Chen Change Loy...

TL;DR本文提出一种名为 Text2Human 的控制性框架，用于基于文本的生成高质量和多样化的人类图像。在此框架下，我们建立了一个分层的纹理感知码书，以存储不同类型纹理的多尺度神经表征，并使用混合专家的扩散变换采样器采样码书中的索引。通过使用细粒度文本输入，生成的图像具有更高的质量和更多的多样性，拥有比现有方法更好的性能。

Abstract

Generating high-quality and diverse human images is an important yet challenging task in vision and graphics. However, existing generative models often fall short under the high diversity of clothing shapes and textures. Furthermore, the generation process is even desired to be intuitively controllable for layman users. In this work, we present a text-driven

text2human human image generation clothing textures hierarchical texture-aware codebook mixture-of-experts

发现论文，激发创造

Text2Avatar：基于编码本驱动的身体可控属性的文本生成三维人体化身

使用 Text2Avatar 生成的 3D 真实风格人物化身，可通过耦合的文本数据生成逼真的 3D 角色模型，从而帮助减少人物建模的成本和时间。

Jan, 2024

文本驱动的人类视频生成

本文提出了 Text2Performer 算法，基于文本描述生成拥有精细动作的逼真人类视频，并提供了 Fashion-Text2Video 数据集用于辅助该任务。其中包括了两个新设计：将 VQVAE 潜空间表示细分为人物形象和姿势表示，并通过连续 VQ-diffuser 对姿势编码进行采样，得到更好的动作建模。该算法在多项实验中表现出成果丰硕。

Apr, 2023

基于详细人类中心文本描述的大规模场景合成

DetText2Scene 是一种新颖的文本驱动大规模图像合成方法，具有高度的忠实度、可控性和自然性，在全局范围内实现了对详细人类中心化文本描述的合成。

Nov, 2023

TELA：基于层次化方法的 3D 服装人体生成

本文通过逐层式的人体服装表示和渐进优化策略，从文本描述生成 3D 穿衣人模型，以实现高质量的分离效果，并支持虚拟试穿等应用。

Apr, 2024

从二维集合中引导的文本生成三维人体

该研究提出了一种基于文本描述的三维人体生成方法，采用跨模态注意力将构成人体渲染与提取的时尚语义融合，以控制服装的形状、面料和颜色，实现对三维人体的高效控制和生成。

May, 2023

StyleHumanCLIP: 面向 StyleGAN-Human 的文本引导服装操纵

本文提出了一种基于文本引导的全身人像图像合成框架，采用基于注意力机制的潜在代码映射器，实现了比现有映射器更多元化对 StyleGAN 的控制，并在推理时引入特征空间掩码机制来避免因文本输入导致的不良影响，经定量和定性评估，证明了我们的方法比现有方法更能忠实地控制生成的图像。

May, 2023

TeCH: 文本引导下的逼真着装人体重建

通过使用描述性文本启示和个性化模型，TeCH 提出了一种混合的三维重建方法，用于重建细节丰富的衣着人物的未见区域，并在重建准确性和渲染质量方面优于现有方法。

Aug, 2023

基于文本指导的人物图像合成

本论文提出了一种新颖的方法，根据自然语言描述操纵人物图像的视觉外观和姿态，并进行了广泛的实验以证明该方法的有效性。

Apr, 2019

TexDreamer：面向零样本高保真 3D 人体纹理生成

利用 TexDreamer 模型，我们通过有效的纹理自适应微调策略将大型文本到图像模型转化成语义化 UV 结构，在保留其原始泛化能力的同时，能够在数秒内生成高保真度的 3D 人体纹理。此外，我们还介绍了包含 50k 高保真度的纹理及文本描述的 ATLAS 高分辨率 3D 人体纹理数据集。

Mar, 2024

HumanCoser：基于语义感知扩散模型的分层三维人体生成

基于新颖的物理解耦 - 语义感知扩散模型，本文提出了一个文本驱动的分层式 3D 人体生成框架，可以生成具有一致身体结构的 3D 人体，同时允许分层式的自由编辑。

Dec, 2023