CVPRApr, 2024

统一且可解释的情感表示与表达生成

PDF
TL;DR我们提出了一个可解释且统一的情感模型 (C2A2)，并通过修改文本条件扩散模型来生成连续表情，从而实现了情感的精细生成。
发现论文，激发创造
  • CAGE：环绕情感引导的表达推断

    本研究通过深入比较 AffectNet 和 EMOTIC 两个数据集，提出了一种基于连续 valence 和 arousal 标签的面部表情预测模型，通过将离散类别标签与连续情绪标签结合，显著改善表情推断的性能，取得了在 AffectNet 上的最佳结果，实现了 7% 的较低 RMSE。

    Apr, 2024

  • 一种多任务学习与生成框架：情感价值 - 唤起度、动作单位和基本表情

    本论文针对情感分析的各个领域进行了研究，提出了基于神经网络的多任务学习方法，该方法有效地应用于 Aff-Wild 情感数据库的新注释部分并实现了良好的性能。

    Nov, 2018

  • 利用连续情感标签进行面部表情编辑

    该研究探索了如何采用连续情感表述来控制自动表情编辑，通过深度生成模型，根据具有两个维度的连续情感标签对面部图像中的面部表情进行操作，并通过定量和定性分析展示了模型的功能。

    Jun, 2020

  • 将离散和连续情绪标签统一用于语音情感识别

    该文提出了一种基于多任务和分层多任务学习框架，共同模拟连续和离散情感标签之间的关系，并展示了如何利用这种关系来提高情感识别任务的鲁棒性和性能。实验结果表明，我们的模型在两个广泛使用的数据集（IEMOCAP 和 MSPPodcast）上有统计显着的性能改进，并展示了该不匹配训练方法的实验结果和推理。

    Oct, 2022

  • 情感嵌入学习：从不同情感数据集中获取稳定统一的抽象

    人类情感的计算研究涉及各种沟通方式和媒体格式，本文提出了一个统一的计算模型，通过学习共享的情感表示来实现对异质数据和标签类型的协同工作，以提高可重用性、可解释性和灵活性，并且不降低预测质量。

    Aug, 2023

  • 野外情感分析：愉悦度 - 唤起度、表情、动作单元和统一框架

    本文介绍了利用深度学习方法对情感进行分析与识别的相关研究，以及在真实情境下（in-the-wild）数据上进行大规模情感分析所需深度神经网络的架构设计，并提出了一种基于多任务学习和整体框架的方法，通过改进现有的情感识别技术来提高情感识别效果。

    Mar, 2021

  • 一种面部表情相似度的紧凑嵌入

    通过收集大规模的人脸数据集，我们使用神经网络在一个压缩的嵌入空间中描述面部表情，并取得了在表情检索、相册摘要和情绪识别等各种应用中的良好表现。

    Nov, 2018

  • 面部行动单元检测的全局到局部表情感知嵌入

    本文提出了一种用于促进 AU 检测的新型细粒度全局表情表示编码器以及设计了用于为每个 AU 生成本地面部特征的本地 AU 特征模块。实验结果表明，我们的方法优于现有方法并在 BP4D、DISFA 和 BP4D + 等广泛使用的面部数据集上实现了最先进的性能。

    Oct, 2022

  • 一种多模态和多任务学习方法，用于动作单元和表情识别

    本文提出一种利用视觉和音频信息的多模态和多任务学习方法来分析人类情感，使用 AU 和表情标注训练模型并应用序列模型提取视频帧之间的关联，实现了 0.712 的 AU 分数和 0.477 的表情分数，证明了该方法在提高模型性能方面的有效性。

    Jul, 2021

  • 一分钟逐渐情感挑战的多模态情感识别

    本文介绍了我们在 One-Minute-Gradual 情感挑战中，通过提取从视频中用多种声学，视频和文本模型提取的多模态表示，并使用支持向量机（SVM）融合多模态信号进行最终权值预测，实现了 CCC 得分 0.397 和 0.520。这超过了最佳 CCC 得分 0.15 和 0.23 的基线系统。

    May, 2018