面部图像动画的稀疏到稠密的运动转移
本研究提出了一种新的无监督人脸动画方法，其能够同时学习粗糙和细致的面部运动，通过利用局部仿射运动模型以学习全局粗糙面部运动，并设计了一种新的运动细化模块以补偿粗糙运动模型，用于建模局部区域的细致面部运动。通过源图像和驱动图像之间的密集相关性来学习运动细化，通过在低分辨率与高分辨率之间迭代生成微小面部运动，并将学习到的运动细化与粗糙运动结合以生成新图像。在广泛应用的基准测试中，本方法在与最先进的基准方法相比取得了最佳结果。
Oct, 2023
本文提出了一种从中性 3D 人脸和表情标签生成动态 3D 面部表情的解决方案，解决了表情动态建模和面部变形两个子问题，并展示了该方案在动态表情生成和网格重建方面的显著改进。
May, 2021
提出了一种新的端到端无监督运动转移框架，通过使用细板样条运动估计来使光流更加灵活，提高源图像的特征融合，并设计额外的辅助损失函数来生成高质量的图像。实验结果表明，该方法在大多数基准测试中表现更好，pose 相关指标出现明显改进。
Mar, 2022
该研究论文提出了一种通过使用合成数据达到高密度标记点的方法来进行面部重建的方法，并成功将其用于嘴巴和眼睛等部位进行表情捕捉，从而取得了在单目 3D 面部重建方面的最新成果。
Apr, 2022
本篇研究提出了一种新方法，通过音频输入生成 3D 说话人头部动画，并利用面部的传动部位上的控制点来描述语音相关的运动，并利用两个不同的模型来实现；该方法具有身份不相关性，可实现任何用户的高质量面部动画。利用陆标在 3D 说话人头部动画生成中提供了各种优点，例如一致性，可靠性和不需要手动注释。
Jun, 2023
本文提出了一种更加高效的 DensePose 数据采集策略，即在视频帧中收集标记，并利用视频的动态传播地面真实注释，该方法可以通过提取视频中的运动线索来提高姿态估计结果。
Jun, 2019
本文提出了一种基于仿射子空间模型的特征运动物体分割新框架，该方法通过稀疏 PCA 表示原始轨迹，通过自动搜索最近邻点的稀疏表达来实现局部子空间分离，并提出了一种误差估计来处理缺失数据问题，最后通过谱聚类方法将不同的运动分割出来，实验证明该方法在精度和运算时间上优于其他运动分割方法。
Jan, 2017
本文提出了一种新模型，使用 Motion3DGAN 模型编码表情的时间演变，并利用 Sparse2Dense mesh Decoder 模型生成可以复合的表情转换；在多个公共数据集上进行实验验证，表明该方法在保持良好泛化性能的同时相较于之前的解决方案有了显著提高。
Jul, 2022
通过结合场景提供的丰富上下文信息，利用稀疏观测信号实现从头戴式显示器和手柄控制器到 3D 场景中的全身人体运动的估计是增强现实 / 虚拟现实应用的关键问题之一。我们引入了一个新的框架 ——S^2Fusion，它融合场景和稀疏信号，采用条件扩散模型，在给定稀疏跟踪信号和 3D 场景的情况下估计出合理的人体运动。S^2Fusion 首先通过周期自编码器提取稀疏信号中的时空关系，然后生成时间对齐特征嵌入作为附加输入。随后，通过从预先训练的先验中提取初始噪声运动，S^2Fusion 利用条件扩散将场景几何和稀疏跟踪信号融合，生成了全身感知场景的运动。S^2Fusion 的采样过程还受到了特别设计的场景穿透损失和相位匹配损失的指导，即使在没有任何跟踪信号的情况下，也能有效规范下半身的运动，使得生成的运动更加合理和连贯。广泛的实验证明了我们的 S^2Fusion 在估计质量和平滑度方面超过了最先进的方法。
Apr, 2024