游戏角色自动创建的快速坚固的面部特征到参数的转换

AAAIAug, 2020

游戏角色自动创建的快速坚固的面部特征到参数的转换

Fast and Robust Face-to-Parameter Translation for Game Character Auto-Creation

Tianyang Shi, Zhengxia Zou, Yi Yuan, Changjie Fan

TL;DR本研究提出一种游戏角色自动生成框架，根据玩家的输入面部照片生成游戏角色。通过自我监督学习范式下预测一大组具有物理意义的面部参数，提高了效率，并保留了互动性，在七个公共面部验证数据集上显示出更好的鲁棒性，特别是对于具有头部姿势变化的照片。

Abstract

With the rapid development of role-playing games (RPGs), players are now allowed to edit the facial appearance of their in-game characters with their preferences rather than using default templates. This paper proposes a game character auto-creation framework that generates in-game cha

role-playing games game character auto-creation facial parameters self-supervised learning head-pose variance

发现论文，激发创造

游戏角色自动生成的面部参数转化

该研究提出了一种方法，通过面部相似度测量和参数搜索范例解决优化问题，使用两种损失函数来创造游戏角色，其中一个是 “可辨别损失”，另一个是 “面部内容损失”，并引入生成网络作为 “模拟器” 来实现，该方法在新游戏中已被玩家使用超过 100 万次。

Sep, 2019

游戏角色自动生成的零样本文本转参数翻译

本文提出了一个新的基于文本的参数翻译方法（T2P）来实现零样本驱动游戏角色的自动创作，T2P 采用大规模预训练的多模态 CLIP 和神经渲染的技术来统一搜索连续和离散的面部参数，经实验表明 T2P 比其他 SOTA 的文本到 3D 生成方法在客观和主观评估上表现更优秀。

Mar, 2023

通过 PokerFace-GAN 实现中性面部游戏角色自动生成

本文提出了一种基于 PokerFace-GAN 的游戏角色自动创建方法，通过建立一个不同 iable 的角色渲染器来更加灵活地进行多视角渲染，并利用对抗性训练有效地将表情参数与身份参数相分离，从而生成玩家所喜爱的中立面（表情无表达的）角色。经过实验证明，本文的方法可以生成非常类似于输入照片的生动中立面游戏角色。

Aug, 2020

从单张肖像创建游戏角色面孔的 MeInGame

本研究提出一种自动化游戏角色面部创建方法，可以预测面部形状和纹理，并可以整合到大多数现有的三维游戏中，超越目前游戏中使用的最先进的方法

Feb, 2021

MyPortrait: 可塑形先导定制肖像生成

在计算机视觉领域，生成逼真的说话脸部是一个有趣且长期存在的课题。尽管已经取得了显著的进展，但是生成具有个性化细节的高质量动态脸部仍然具有挑战性。本文提出了一种简单、通用且灵活的神经画廊生成框架 Myportrait，在单目视频中加入个性化先验和三维人脸形变空间的可变先验，在新的可控参数下生成个性化细节。我们的框架支持基于视频和基于音频的面部动画，给定单个人的单目视频。通过测试数据是否发送到训练中，我们的方法提供了实时在线版本和高质量离线版本。广泛的实验证明了我们方法在各个指标上优于最先进方法。代码将公开发布。

Dec, 2023

从人类到模型角色的面部表情再现简化

本文提出了一种基于非线性表情嵌入和表情域翻译的跨域表情转移技术，通过低维潜空间、几何约束、感知约束和用户友好的技术，实现了人脸表情转移到虚拟角色上，并且在大范围实验和用户研究中证明了该方法的高效性和高质量。

Aug, 2020

自带角色：定制角色自动面部动画生成的整体解决方案

提出了一种全面的解决方案，通过深度学习模型将面部表情从输入面部图像转移到虚拟人脸，实现虚拟人物面部动画的自动化。使用 Unity 3D 开发了实用工具包，可接受图像和视频作为输入，以动画形式呈现目标虚拟人脸，并允许用户对动画结果进行操作。通过用户反馈不断改进模型和工具包的性能，从而增加了定制化属性以适应用户偏好。整个解决方案有助于加速用于虚拟现实应用的面部动画的生成。

Feb, 2024

从单幅肖像生成可动画的 3D 卡通人脸

本文提出了一种从单幅肖像图像生成动画化的 3D 卡通脸部的新框架，并针对传统模型建立漫画形象耗时且难以保持相似性的问题，提出了基于模板和形变转移的语义保留脸部绑定方法及实时动画演示。

Jul, 2023

快速为 VR 面部动画注册逼真的化身

虚拟现实 (VR) 具有比其他媒体更具身临其境感的社交互动的潜力。关键在于能够在佩戴 VR 头显的同时准确地模拟一个逼真的个人化化身。本研究揭示了头显摄像头镜头与模型相差较大是导致实时模型性能下降的主要原因，并提出了一个系统设计，将问题分解为两部分：1) 一个迭代优化模块，处理同一领域的输入；2) 一个通用的以化身为导向的图像转换模块，以当前表情和头部姿态的估计为条件。这两个模块相互加强，通过展示接近真实的示例，使图像样式转换更容易，并改善领域差异移除。我们的系统高效地产生高质量的结果，不再需要昂贵的离线注册来生成个性化标签。通过在市售头显上进行大量实验证实了我们方法的准确性和效率，并在直接回归方法和离线注册上展现了显著的改进。

Jan, 2024

从单个扫描生成动态面部资产和绑定

通过使用自监督神经网络，本文提出了一个自动生成高质量动态面部组件的框架，包括可以快速部署供艺术家打磨的模型，并展示了在广泛的新主题上推断的鲁棒性和有效性，同时通过生成定制的基于物理的动态纹理来给角色面部制作更生动的动画。

Oct, 2020