- CP-EB: 可控姿势和眨眼的对话人脸生成嵌入
该研究提出了一种名为 'CP-EB' 的交谈面部生成方法,该方法以音频信号作为输入、以人物图像作为参考,通过控制一个短视频剪辑和适当的嵌入式眨眼操作,合成出一个由头部姿势控制的逼真人物对话视频。实验结果表明,该方法可以产生出具有同步嘴唇动作 - ICCVILSH:人头视角合成的帝国光阶头数据集
该论文介绍了帝国光舞台头部 (ILSH) 数据集,这是一个旨在支持人类头部的视点合成学术挑战的新颖光舞台捕获的人类头部数据集。ILSH 数据集旨在促进各种方法(如场景特定或通用的神经渲染,多视角几何,3D 视觉和计算机图形)的发展,进一步推 - 从 NeRFLiX 到 NeRFLiX++:一种通用的 NeRF - 不可知恢复器范式
提出了一种名为 NeRFLiX 的方法,通过利用一个去除降级驱动的视角混合器和一种新的相机降级模型,进一步提高了 NeRF 模型的表现,在各种新视图综合基准测试中表现出色。
- Instruct-Video2Avatar: 使用说明的视频头像生成
本文提出一种使用图像条件扩散模型和神经辐射场方法,通过短单眼 RGB 视频和文本说明合成编辑后的、照片逼真的可动 3D 神经头像的方法。在各种主题的定量和定性研究中,我们的方法胜过了现有技术。
- ReactFace: 双向交互中多样化恰当的面部表情生成
本文提出了一种名为 ReactFace 的新框架,通过学习代表多种适当面部反应的面部反应分布,并将生成的面部反应与说话者的语言和非语言行为同步,生成多个不同但适当的逼真的人类面部反应序列。
- TalkCLIP: 文本引导的表情语音生成
本文提出了一种基于自然语言描述的表情可控一镜到底对话头生成方法 TalkCLIP。该方法通过引入 CLIP-based 风格编码器,将自然语言描述映射到口型样式表示中进行对齐,并能够生成受文本描述引导的具有生动面部表情的逼真谈话头。
- MagicVideo:利用潜在扩散模型高效生成视频
MagicVideo 利用基于潜在扩散模型的高效文本生成视频框架生成与文本内容高度相关的逼真视频片段,并使用低维潜在空间在单个 GPU 卡上生成具有 256x256 空间分辨率的视频片段,可以在 64 倍于最近的视频扩散模型(VDM)的速度 - ECCV照片逼真的神经域随机化
本文提出一种基于神经网路的实验数据生成方法,通过不同的网络模块随机组合生成高质量的逼真图像,应用于对象检测和单目深度估计等领域,在实现真实世界转化时,性能明显优于目前主流的方法。
- CVPR面部去遮挡网络用于虚拟远程系统
本研究提出了一种解决虚拟现实设备遮挡人脸问题的深度学习图像修补方案,使用户在虚拟世界中的面部外观更加逼真。
- 从单目视频重建个性化语义面部 NeRF 模型
使用神经辐射场的语义模型构建了一个逼真的人脸模型,可用于面部重定向和表情编辑。
- ECCVCCPL: 对比协调保存损失用于多功能风格迁移
本文提出了一种通用的风格迁移方法,使用 Contrastive Coherence Preserving Loss 和 Simple Covariance Transformation 能实现艺术化、照片逼真和视频风格迁移,并且可以很容易地 - SinNeRF:单图训练神经辐射场处理复杂场景
本论文提出了单视角 NeRF 框架 (SinNeRF),通过引入半监督的学习过程,利用几何标签和语义标签指导训练过程,成功实现了仅通过单个视图将神经辐射场训练到现实场景,即使在不进行多视图数据集预训练的情况下,SinNeRF 可产生逼真的新 - PIRenderer:通过语义神经渲染实现可控肖像图像生成
使用三维可变形面部模型参数来控制面部动作,生成逼真的肖像图像并实现音频驱动的面部再现。
- IJCAIHifiFace:3D 形状和语义先验引导的高保真人脸交换
本文提出了一种高保真人脸交换方法,称为 HifiFace,它可以很好地保留源脸部的脸型并生成逼真的结果。该方法采用 3D 形状感知身份来控制面部形状,并使用网络优化融合技术,使生成结果更逼真。大量的面部实验表明,我们的方法能够保持更好的身份 - 使用分层神经表示的可编辑自由视角视频
本文提出了一种可编辑的逼真的自由视角视频生成方法,通过使用只有 16 个稀疏摄像头,将大规模动态场景中的每个动态实体表示为连续函数,并采用新的分层神经表示方法进行支持感知和逼真操作,并提出使用场景解析 4D 标签地图追踪和连续变形模块隐式分 - 单目视角下的人类图像综合的风格和姿态控制
本文提出了一种新方法,称为 StylePoseGAN,用于合成具有姿势和部位外观显式控制的照片真实感的人类图像,并能够将其用于虚拟换装、动作模仿和新视角合成等应用中。
- 动态场景的神经场景图
该论文提出了一种新的神经渲染方法,能够将动态环境分解成场景图,通过隐式编码学习场景的变换和辐射度,并能够渲染未见过的物体、位置的各种动态场景,达到了高度逼真的效果。
- 生成可解释人脸技术 (GIF)
该研究使用预定义的控制参数来调节生成过程,进而产生了一种具有参数控制的生成式人脸模型 GIF,它结合了 3D 主题的控制和 GANs 的高保真生成,经过感知研究得出 GIF 表现良好。
- Head2Head++: 深度人脸属性再定向
利用 3D 几何和生成对抗网络设计了一种新的深度学习架构,用于实现面部和头部再现任务,通过全新的序列生成器和动态判别器网络,可以以几乎实时的速度(18 fps)以逼真和忠实的方式成功转移来自源视频的面部表情、头部姿态和眼神到目标主体中。
- Head2Head: 视频基于神经元头部综合
本文提出了一种新的面部再现的机器学习架构,该方法利用卷积神经网络进行特征提取及实现面部运动,注重嘴部及时间一致性,实现了将源角色的面部表情、姿势和视线传输到目标视频中,比现有技术更精确地展现了真实人像。