Jun, 2023

REACT2023：第一届多模态多适宜人脸表情生成竞赛

PDF
TL;DR本文介绍了 Multi-modal Multiple Appropriate Facial Reaction Generation Challenge（REACT2023）以及其目的、数据集和基准系统的性能表现。
发现论文，激发创造
  • REACT 2024：第二届多目标适应性面部反应生成挑战

    通过机器学习模型在 REACT 2024 挑战中开发和基准测试了能够生成多个适当、多样、真实和同步的面部反应的方法，并提供了该挑战的指南、数据集以及在两个子挑战中基线系统的性能。

    Jan, 2024

  • ReactFace: 双向交互中多样化恰当的面部表情生成

    本文提出了一种名为 ReactFace 的新框架，通过学习代表多种适当面部反应的面部反应分布，并将生成的面部反应与说话者的语言和非语言行为同步，生成多个不同但适当的逼真的人类面部反应序列。

    May, 2023

  • MRecGen: 多模态适宜反应生成器

    该论文提出了首个多模态人类反应生成框架，可以生成适当和真实的人类风格反应，用于回应用户行为，适用于各种人机交互场景和虚拟代理 / 机器人行为。

    Jul, 2023

  • 基于可逆图神经网络的反应分布学习，用于多种适当的面部反应生成

    本文提出了第一个多恰当面部反应生成框架，通过将一对多映射面部反应生成问题重新转换为一个对一个映射问题，提出适当的面部反应分布学习策略，利用新颖的可逆多维边缘图神经网络 (REGNN) 解码恰当的面部反应，实验结果表明，利用该方法生成的面部反应更为恰当、逼真和同步

    May, 2023

  • MM-REACT: 多模态推理与行动的 ChatGPT 提示

    MM-REACT 是一种系统范例，将 ChatGPT 与一组视觉专家集成在一起，以实现多模态推理和动作，并引入了文本提示设计，以表示文本描述、已文本化的空间坐标和对齐的文件名来处理多模态信息。

    Mar, 2023

  • MER 2023: 多标签学习，模态鲁棒性和半监督学习

    该研究使用多模态特征测试了三个情感识别子挑战任务，提供了具有竞争力的基础模型，为提高情感识别的鲁棒性和发展实际应用技术提供了一些新思路。

    Apr, 2023

  • M$^3$Face：一种统一的多模态多语言人脸生成与编辑框架

    M3Face 是一个统一的多模态多语言框架，用于可控的人脸生成和编辑，它使用户能够仅通过文本输入来自动生成控制模态，如语义分割或面部标志，并随后生成人脸图像。

    Feb, 2024

  • 基于多模态数据的情绪反应强度估计

    本文介绍了我们在 CVPR 2023：Affective Behavior Analysis in-the-wild (ABAW) 第 5 次研讨会和比赛中进行情感反应强度 (ERI) 估计挑战的方法，通过基于多模态数据提取声学和视觉特征，提高了我们的模型表现能力，并使用 Transformer 编码器进行交叉模态关注机制，从而提高了与基线的 Pearson 相关系数。

    Mar, 2023

  • 基于 Transformer 的视频情感反应强度估计和表达分类的多模态特征提取与融合

    本文论述了针对 ABAW2023 中的情感行为分析领域的两个子挑战 - 表情分类和情感反应强度评估的高级解决方案。该方案使用了多种模型和工具来提取多模态特征，并有效地处理分类中的挑战，从而显著提高了模型在多模态情况下的情感预测精度。在情感反应强度评估方面，我们的方法超过了基线方法 84％，并在验证数据集上取得了出色的结果。

    Mar, 2023

  • SocialNLP EmotionGIF 2020 挑战赛概述：在社交媒体上预测反应 GIF 分类

    该论文主要介绍了 2020 年 ACL 会议上举办的 EmotionGIF2020 比赛及其数据集（包含 40,000 条带有反应表情的推文），旨在预测用户对于在线文本的情感反应，并评估了参赛队伍的表现，获胜队伍再 Recall@K 指标下的得分为 62.47%。

    Feb, 2021