潜在图像动画师：通过潜在空间导航学习动画图片

ICLRMar, 2022

潜在图像动画师：通过潜在空间导航学习动画图片

Latent Image Animator: Learning to Animate Images via Latent Space Navigation

Yaohui Wang, Di Yang, Francois Bremond, Antitza Dantcheva

TL;DR介绍了一种名为 LIA 的基于自我监督的自编码器模型，该模型可以在潜在空间中进行线性导航以运动图像。LIA 避免了使用结构表示，通过同时学习正交运动方向和其线性组合来生成视频，结果在 VoxCeleb、Taichi 和 TED-talk 数据集上的质量明显优于现有方法。

Abstract

Due to the remarkable progress of deep generative models, animating images has become increasingly efficient, whereas associated results have become increasingly realistic. Current animation-approaches commonly e

deep generative models animation structure representation latent image animator linear navigation

发现论文，激发创造

潜空间中的生成人体动作风格化

人体动作风格化的生成模型基于预训练自动编码器的潜在空间进行动作提取和融合，实现了多样化的风格化结果，具有轻量级设计却在风格再现、内容保留和广泛应用方面优于现有技术的特点。

Jan, 2024

LEO：人体视频合成的生成式潜空间图像动画器

提出了一种名为 LEO 的新颖方法，通过将运动表示为一系列流场图，在生成过程中固有地分离运动和外貌，从而强调时空一致性，并取得了比以前方法更好的人类视频合成效果。

May, 2023

语义对齐下的潜在空间翻译

通过简单的转换，我们的研究展示了神经网络模型中学习到的表示可以在不同的预训练网络之间进行转化，从而有效地连接编码器和解码器，并实现在多模态设置下的出色分类性能。

Nov, 2023

通过逆向相对投影的潜空间转换

通过对相对空间的角度保持相对表示的可逆性进行形式化，并假设神经模型中解码器模块的尺度不变性，我们将两种方法结合起来，通过相对空间获得潜在空间转换的新方法。通过在各种架构和数据集上进行大量实验证实了我们的尺度不变性假设，并证明了我们方法在潜在空间转换中的高准确性。我们还将我们的方法应用于任意预训练文本和图像编码器及其分类器之间的零射缝，甚至跨模态。通过组合性，我们的方法具有促进模型实际重用的显著潜力。

Jun, 2024

训练的潜在空间导航：在基于样式的模型生成的图像中预防缺乏逼真感

本文介绍了一种简单的无监督方法，用于提供训练良好的局部潜在子空间，使得通过潜在编码的导航能够保持生成图像的真实感。实验证明，在局部潜在子空间内生成的图像能够在潜在编码反复调整的情况下保持真实感，并且这种方法对各种类型的基于风格的模型中的潜在编码优化都具有应用潜力。

Oct, 2023

基于表现性潜变空间的无监督人机动作转接

利用深度学习方法实现人到机器人动作重定向，无需人与机器人动作数据对齐，构建共享的潜空间并进行机器人运动控制，通过简单线性插值生成中间动作，多种输入模态下的机器人控制全面评估，与现有工作相比，在增加自然人机沟通的能力和提升机器人融入日常生活的信任度方面展示了有效性。

Sep, 2023

GAN 隐空间中的方向搜索用于神经网络人脸再现

该研究探讨了如何使用预训练 GAN 模型实现头部和面部重新实现，并使用 3D 形状模型帮助发现潜在空间中的方向，以达到身份解缠和跨人重现的目的。研究结果表明，与现有的最先进方法相比，该方法是一种高质量的方法。

Jan, 2022

潜在视频变换器

本文提出了一种使用潜在空间进行视频生成的方法，采用自回归技术预测未来帧的潜在表示，经实验证明其相较于以前的方法在减少计算资源需求的同时，生成质量也得到了保证。

Jun, 2020

通过潜在时间导航进行自监督视频表示学习

本文提出了一种时间参数对比学习策略 Latent Time Navigation (LTN)，以捕捉细微的运动，从而增强视频表示学习模型中时间感知特性，使模型在 fine-grained 和面向人类的任务中的分类性能得到了显著提高。同时，在预训练于 Kinetics-400 数据集的基础上，该模型在 UCF101 和 HMDB51 数据集上也取得了 state-of-the-art 的行动识别性能。

May, 2023

通过在 GAN 的潜空间中寻找方向实现一次性神经人脸再现

本论文提出了一种神经面部 / 头部再现的框架，其目标是将目标面部的 3D 头部方向和表情转移到源面部。我们采用了不同的方法，通过使用（精调）预训练的生成对抗网络，绕过了学习嵌入网络以实现身份和头部姿态 / 表情分离的困难任务，以提高生成图像的质量。我们的方法通过将真实图像嵌入生成对抗网络的潜在空间，成功实现了对真实世界面部的再现。

Feb, 2024