UVMap-ID: 一个可控且个性化的 UV Map 生成模型
利用 TexDreamer 模型,我们通过有效的纹理自适应微调策略将大型文本到图像模型转化成语义化 UV 结构,在保留其原始泛化能力的同时,能够在数秒内生成高保真度的 3D 人体纹理。此外,我们还介绍了包含 50k 高保真度的纹理及文本描述的 ATLAS 高分辨率 3D 人体纹理数据集。
Mar, 2024
通过文本引导的三维人脸合成,从生成到编辑的统一框架,通过解耦生成几何和纹理来提高几何细节的生成效果,并利用生成几何作为纹理生成的条件,进一步提升几何与纹理的一致性结果;通过预训练扩散模型来更新面部几何或纹理以实现顺序编辑,并引入 UV 域一致性保持正则化以防止对不相关面部属性的无意更改,并提出自导向一致性权重策略以提高编辑效果与保持一致性;通过全面实验展示了该方法在人脸合成方面的优越性。
Dec, 2023
通过使用一种新颖的方法,我们对给定的带有 UV 参数化的 3D 网格生成纹理,并使用单一的深度对图像扩散网络在 3D 表面上呈现一致的纹理,通过统一多个 2D 图像的扩散路径并通过 MultiDiffusion 技术将其提升为 3D。我们使用评估指标 CLIP-score 和 Frechet Inception Distance (FID) 来评估渲染质量,并展示了相对于之前的研究的改进。
Dec, 2023
IFaceUV 提出了一种全可微的技术流程,该流程涵盖了 2D 和 3D 信息的所有关键方面,从而为面部再现任务提供了一个效果显着的解决方案。
Jun, 2023
提出了一种新的 text-to-image 模型的个性化方法,该方法能够通过少量输入的图像,fine-tune 预训练的 text-to-image 模型,使其能够将唯一标识符绑定到特定主题上,并能够综合场景、姿态、观点和光照中出现的主题的新颖的高清图像。
Aug, 2022
该论文提出了一种使用深度卷积神经网络训练面部 UV 图完成模型的框架,从而实现更好的面孔识别表现。该方法通过附加完成的 UV 图到安装的网格并生成任意姿态的实例,增加了姿态变化以训练深度面部识别 / 验证模型,并在测试期间最小化姿态差异,证明了对于有完整 UV map 数据集的人脸库,其具有极高的人脸识别准确率。
Dec, 2017
我们提出了一种简单高效的数据增强训练策略,通过插入适配器层来引导扩散模型仅专注于对象身份,使得我们的模型具备控制每个生成个性化对象的位置和大小的能力,并提出了区域引导抽样技术来保持生成图像的质量和保真度。
Jun, 2023
我们的研究着眼于三维图形管线中的 UV 纹理空间,通过使用 FFHQ-UV 数据集,提出了一种名为 SemUV 的简单而有效的方法进行语义操作,以便为图形设计师提供增强的控制和精确的外观操作能力。我们的方法通过与二维操作技术进行实验比较,展示了在保留身份的同时有效修改年龄、性别和面部毛发等语义特征的卓越能力。该方法简单,与结构、光照和渲染等其他三维组件无关,并能够无缝集成到标准的三维图形管线中,而不需要广泛的领域专业知识、时间或资源。
Jun, 2024
该论文提出了第一种使用扩散模型作为先验的高精度三维面部 BRDF 重建方法,通过利用高质量的 UV 数据集进行渲染,使用样本处理过程来训练扩散模型,并在测试时通过对给定图像进行三维可塑模型拟合和 UV 纹理解耦,从而能够单个去噪步骤中完成掩蔽区域的纹理完成和未知反射组分的纹理自动填充,相较于现有方法,该方法更能忠实地和一致地估算反射率。
May, 2023