通过机器学习模型在 REACT 2024 挑战中开发和基准测试了能够生成多个适当、多样、真实和同步的面部反应的方法，并提供了该挑战的指南、数据集以及在两个子挑战中基线系统的性能。

Jan, 2024

本文提出了第一个多恰当面部反应生成框架，通过将一对多映射面部反应生成问题重新转换为一个对一个映射问题，提出适当的面部反应分布学习策略，利用新颖的可逆多维边缘图神经网络 (REGNN) 解码恰当的面部反应，实验结果表明，利用该方法生成的面部反应更为恰当、逼真和同步

May, 2023

本文介绍了 Multi-modal Multiple Appropriate Facial Reaction Generation Challenge（REACT2023）以及其目的、数据集和基准系统的性能表现。

Jun, 2023

该论文提出了首个多模态人类反应生成框架，可以生成适当和真实的人类风格反应，用于回应用户行为，适用于各种人机交互场景和虚拟代理 / 机器人行为。

Jul, 2023

本文提出了一种名为 Dyadic Residual-Attention Model（DRAM）的神经网络结构，通过选择性注意力整合单向和双向动态，以生成人物姿势序列，从而改善虚拟代表（avatar）的远程存在感，进而在双向交流中展现出更自然的人物姿势，并进行实验验证和用户研究，证实该模型在预测 avatar 姿势方面比非自适应的单向 / 双向模型更有效，更逼真。

Oct, 2019

本研究提出了一种新的方法来在语音驱动的面部生成中呈现视觉情感表达，设计了一个端到端的语音驱动面部生成系统，可以在输入语音、单张面部图像和情感标签时呈现表情，在图像质量、音视频同步和视觉情感表达等方面表现出色，主观和客观的评估都证明了该系统的优越性。此外，还利用生成的视频进行了人类情感识别实验，结果表明在音频和视觉模态不匹配的情况下，人们对视觉模态的响应更为显著。

Aug, 2020

我们提出的 3DiFACE 方法是一种用于个性化语音驱动的 3D 面部动画和编辑的新方法。通过引入一种轻量级的音频条件扩散模型，我们能够在保持表现力丰富的唇部运动输出的同时，允许随机性和动作编辑。经过定量和定性评估，我们展示了我们的方法优于现有的技术，并产生更具保真度和多样性的语音驱动动画。

Dec, 2023

通过自我监督学习，我们提出了一个两阶段的音频驱动对话人物生成框架，利用 3D 面部特征点作为中间变量，以实现表情、注视和头部姿势的合作对齐，并映射到预训练模型中以生成高质量人脸图像。

Jun, 2024

本文提出了一种基于序列到序列模型和基于生成对抗网络的真实人物合成器的创新面对面对话系统，该系统在 ESPN 节目数据上训练和评估显示出可以生成自然面部表情和逼真的面部图像。

Aug, 2019

本文提出了一种面部生成方法，使用基于语音内容特征的图卷积神经网络，结合独立的情感输入，生成面部几何感知标记表示上的情感和语音感应运动，并在此基础上，利用光流引导的纹理生成网络生成纹理。

May, 2022