SemUV: 基于深度学习的虚拟人头部 UV 纹理图的语义操作

Jun, 2024

SemUV: 基于深度学习的虚拟人头部 UV 纹理图的语义操作

SemUV: Deep Learning based semantic manipulation over UV texture map of virtual human heads

Anirban Mukherjee, Venkat Suprabath Bitra, Vignesh Bondugula, Tarun Reddy Tallapureddy, Dinesh Babu Jayagopi

TL;DR我们的研究着眼于三维图形管线中的 UV 纹理空间，通过使用 FFHQ-UV 数据集，提出了一种名为 SemUV 的简单而有效的方法进行语义操作，以便为图形设计师提供增强的控制和精确的外观操作能力。我们的方法通过与二维操作技术进行实验比较，展示了在保留身份的同时有效修改年龄、性别和面部毛发等语义特征的卓越能力。该方法简单，与结构、光照和渲染等其他三维组件无关，并能够无缝集成到标准的三维图形管线中，而不需要广泛的领域专业知识、时间或资源。

Abstract

Designing and manipulating virtual human heads is essential across various applications, including AR, VR, gaming, human-computer interaction and VFX. Traditional graphic-based approaches require manual effort and resources to achieve accurate representation of human heads. While moder

virtual human heads 3d applications uv texture space semuv semantic manipulation

发现论文，激发创造

TexDreamer：面向零样本高保真 3D 人体纹理生成

利用 TexDreamer 模型，我们通过有效的纹理自适应微调策略将大型文本到图像模型转化成语义化 UV 结构，在保留其原始泛化能力的同时，能够在数秒内生成高保真度的 3D 人体纹理。此外，我们还介绍了包含 50k 高保真度的纹理及文本描述的 ATLAS 高分辨率 3D 人体纹理数据集。

Mar, 2024

UV-GAN: 针对位姿不变人脸识别的对抗性人脸 UV 图像补全

该论文提出了一种使用深度卷积神经网络训练面部 UV 图完成模型的框架，从而实现更好的面孔识别表现。该方法通过附加完成的 UV 图到安装的网格并生成任意姿态的实例，增加了姿态变化以训练深度面部识别 / 验证模型，并在测试期间最小化姿态差异，证明了对于有完整 UV map 数据集的人脸库，其具有极高的人脸识别准确率。

Dec, 2017

AUV-Net: 学习对齐 UV 贴图用于纹理迁移和合成

本文针对 3D 形状的纹理表达问题，提出了基于 2D 对齐 UV 映射的 AUV-Net 方法来实现纹理表达对齐，进而方便实现纹理传输、合成和重建。

Apr, 2022

UVMap-ID: 一个可控且个性化的 UV Map 生成模型

我们介绍了一种新的方法，UVMap-ID，这是一种可控和个性化的 UV Map 生成模型，用于为给定的人脸图像生成个性化的纹理贴图，并定义和评估这些生成纹理贴图的质量。

Apr, 2024

面部视频的深度语义处理

本文提出了一种基于神经渲染和基于 3D 面部表情建模的方法，支持语义视频操作，可以通过改变和控制面部表情实现交互式操作，实现了有希望的逼真效果，并且引入了用户友好的交互 AI 工具，可以处理关于特定部分的输入视频中期望的表情操作的可读的语义标签，并合成逼真的操作视频。

Nov, 2021

用于实时渲染可编辑自由视角下的人体表现的 UV 体素

该研究提出了一种名为 UV Volumes 的新方法，利用 2D 的神经纹理堆栈来分离高频（即非平滑）人类外貌和 3D 体积，并用较小和更浅的神经网络在三维中获得密度和纹理坐标，从而实时渲染可编辑的自由视角视频，可以用于 VR / AR 应用，并且具有重新贴图等有趣应用。

Mar, 2022

SemanticHuman-HD: 高分辨率语义解耦三维人物生成

本研究提出了 SemanticHuman-HD 方法，它是首个能够实现语义分解的人体图像合成方法，并且能够在 1024^2 分辨率下实现 3D 感知图像合成，通过借助深度图和语义掩膜作为 3D 感知超分辨率的指导，在体素渲染过程中显著减少采样点数量，降低了计算成本。通过对比实验验证了我们方法的优越性，并通过消融实验验证了各个提出组件的有效性。此外，我们的方法为 3D 服装生成、语义感知图像合成、可控图像合成和领域外图像合成等各种应用提供了激动人心的可能性。

Mar, 2024

3D 人类半监督高分辨率可编辑纹理合成

本文提出了一种生成高保真度纹理地图的新方法，使用一种称为 ReAVAE 的网络来学习每个语义区域的样式概率分布，控制生成纹理的样式，可以用于虚拟试穿 AR/VR 应用。

Mar, 2021

IFaceUV：通过 UV 映射保留身份特征的直观动态面部图像生成

IFaceUV 提出了一种全可微的技术流程，该流程涵盖了 2D 和 3D 信息的所有关键方面，从而为面部再现任务提供了一个效果显着的解决方案。

Jun, 2023

基于自监督学习的详细 3D 人脸重建

本文提出了一种基于 end-to-end learning 的学习框架，可用于从单个图像中详细地三维重建人脸，不需要传统方法计算的替代地面真值 3D 模型的监督，而是利用输入图像本身作为监督。

Oct, 2019