Jul, 2022

ACII 2022 情感语音爆发研讨会和比赛：理解一种关键研究中被低估的情感表达方式

PDF
TL;DR本文介绍 ACII 情感语音爆发赛事和四个任务，分别为 A-VB-High, A-VB-Two, A-VB-Culture, A-VB-Type，使用机器学习方法对情感识别进行建模与训练，并在大规模数据集上进行了基准测试。
affective vocal burstsemotion recognitionmachine learningcompetitiondataset
发现论文，激发创造
  • ICML 2022 表达性语音化工作坊和赛事：识别、生成和个性化语音爆发

    本文介绍了 ICML Expressive Vocalization (ExVo) 比赛，涵盖三个竞赛项目，利用大规模数据集进行基于多任务模型、生成模型和少样本学习的声音情绪识别。使用最先进的机器学习策略，提供各种竞赛项目的基本性能评估。

    May, 2022

  • 自监督注意力网络和不确定性损失加权在语音突发多任务情感识别中的应用

    本文展示了通过使用自主培训的大型音频模型作为共享特征提取器并结合分类器链和注意力网络框架以及不确定性损失加权策略提高情感声音爆发分类和情感预测的方法，以在 ACII 情感声音爆发竞赛中显著优于基准结果的结果。

    Sep, 2022

  • ABAW：情感价值 - 唤醒评估，表情识别，行为单位检测和情感反应强度评估挑战

    本文介绍了于 CVPR 2023 会议举办的第五届 Affective Behavior Analysis in-the-wild (ABAW) Competition，其中包括四个挑战，使用了两个数据集，分别是 Aff-Wild2 database 和 Hume-Reaction dataset，这些挑战包括单任务的情感估计、表情分类、动作单位检测和情绪反应强度估计。

    Mar, 2023

  • 通过整合多模态知识进行情感行为分析

    通过利用各种数据集和方法设计，我们可以在自然环境中全面评估情感行为分析技术的真实性和适用性，从而实现情感智能技术，使设备能像人类一样理解和反应我们的情感。

    Mar, 2024

  • 第六届野外情感行为分析（ABAW）竞赛

    本文介绍了第六届野外情感行为分析 (Affect Behavior Analysis in-the-wild, ABAW) 竞赛，该竞赛是 IEEE CVPR 2024 大会举办的研讨会的一部分。该竞赛致力于理解人类情感和行为等当代挑战，对人类中心技术的发展至关重要。具体来说，竞赛关注情感相关的基准任务，包括估计两个连续情感维度（情感价值和唤醒度）、识别七种基本表情和其他表情、检测 12 个动作单元、识别七种互斥复合表情以及估计六个连续情感维度的情感模仿强度。本文介绍了这些挑战，描述了相应的数据集和挑战协议（包括评估指标），并呈现了基准系统及其表现结果。竞赛的更多信息可在 https://affective-behavior-analysis-in-the-wild.github.io/6th 上找到。

    Feb, 2024

  • ABAW: 情感价值评估、表情识别、动作单元检测和多任务学习挑战

    本文介绍了第三届 ABAW 竞赛，该竞赛以自动情感分析为目标，并包括四个挑战：单任务价值 - 唤醒估计、单任务表情分类、单任务动作单元检测和多任务学习。在此基础上，我们概述了竞赛数据集、评估指标及基准系统。

    Feb, 2022

  • 使用 StyleGAN2 和 MEL 光谱图生成多样化的人声爆发

    使用条件 StyleGAN2 模型对经过处理的音频中的 Mel-spectrograms 进行训练，并将生成的 Mel-spectrograms 逆向回音频领域，从而成功改进了 ICML Expressive Vocalizations 竞赛的基线（qua 为所有情感获得 1.76 的 FAD）。

    Jun, 2022

  • 野外双流感性音视频分析

    本文介绍了我们提交到 ABAW 2020 竞赛的两条流声音视觉分析模型来识别视频中的情感行为。该模型分别处理音频和图像流，并使用卷积神经网络进行分析，同时使用人脸对齐期间提取的附加功能。在训练期间，利用不同情感表达之间的相关性来提高性能。通过在 Aff-Wild2 数据库上的实验，我们的模型取得了有希望的结果。

    Feb, 2020

  • NeurIPS 2023 机器学习音频研讨会：情感音频基准和新数据

    NeurIPS 2023 Machine Learning for Audio Workshop 演讲者共同讨论并阐明了对音频的机器学习的重要性及挑战，提供了几个开放数据集和以往研究的基准模型。

    Mar, 2024

  • 一种多模态和多任务学习方法，用于动作单元和表情识别

    本文提出一种利用视觉和音频信息的多模态和多任务学习方法来分析人类情感，使用 AU 和表情标注训练模型并应用序列模型提取视频帧之间的关联，实现了 0.712 的 AU 分数和 0.477 的表情分数，证明了该方法在提高模型性能方面的有效性。

    Jul, 2021