MMJul, 2018

不完整多模态情感数据的半监督深度生成建模

PDF
TL;DR本文提出了一种基于多视角深度生成性框架的新方法，通过多模式专用生成网络对多模态情感数据的统计关系进行建模，基于高斯混合分布对共享潜在变量的后验分布进行假设，以解决单一模式情感数据识别困难、手动注释代价高昂、情感数据存在缺失模态问题等问题，并在两种真实的多模态情感数据集上进行了实验验证。
emotion recognitionmulti-modality datadeep generative frameworksemi-supervised learningmissing-modality problem
发现论文，激发创造
  • 跨模态分布匹配的半监督多模态情感识别

    提出了一种基于跨模态分布匹配的半监督多模态情感识别模型，该模型利用丰富的未标记数据增强模型训练，实验结果表明该模型能够有效地结合多模态并利用未标记数据提高情感识别性能，并在同等条件下优于其他最先进的方法。

    Sep, 2020

  • 通过多模式关联估计弥合情感语义差距

    研究了多模态情感识别中不同模态表达的语义相关性，并提出了一种多模态相关性估计网络，能够有效地捕捉相关语义，特别是对于模态语义的大偏差具有较好的效果。

    Feb, 2023

  • 可扩展的弱监督学习的多模态生成模型

    本文介绍了一种基于变分自编码器的多模态学习方法，能够有效地用少量参数处理多模态输入数据的推断问题，提出的方法在一些数据集上表现出与最先进技术相匹配的性能。

    Feb, 2018

  • 多任务多模态自监督学习的面部表情识别

    通过多模态多任务自监督学习方法，利用无标签的野外视频数据，实现了面部表情识别的模型，并在多个基准测试中取得了优秀的性能表现。

    Apr, 2024

  • 学习适应实际不完整数据情景下的噪声鲁棒性联合表示的多模态情感识别

    通过引入噪声和可变自动编码器（Variational AutoEncoder）结构，提出了一种新的噪声鲁棒多模情感识别模型（NMER model），能够有效地从包含噪声的不完整数据中学习到鲁棒的多模态联合表示，实验证明 NMER 在 IEMOCAP 数据集上胜过最先进的多模情感识别系统。

    Sep, 2023

  • 复杂脑部疾病预测的不完整多模态学习

    本文提出了一种新的不完全多模态数据整合方法，利用变压器和生成对抗网络，利用辅助模态数据来提高单模态模型的性能，并将其应用于预测阿尔茨海默病的认知退化和疾病结果。

    May, 2023

  • 多模态情感识别中基于模态对无监督对比损失的方法

    本文提出了一种基于无监督特征学习且包括对比损失的多模式情感识别方法，该方法可以减少资料标注费用、提高精确度并且无需大批量样本。相关实验数据表明，本方法比许多基线方法和无监督学习方法在多模式情感识别上表现更好，甚至超越了当前某些有监督方法的表现。

    Jul, 2022

  • EffMulti：高效建模复杂多模态交互以进行情感分析

    本文提出了一种多模态情感分析框架 EffMulti，采用三种不同的多模态潜在表示来捕捉不同视角下的复杂情感交互，并提出了一种模态 - 语义层次融合方法来融合这些表示，实验结果表明，EffMulti 在进行情感分析方面表现极佳。

    Dec, 2022

  • 缺失模态插值的统一多模态图像合成

    该论文提出了一种新的统一的多模式图像综合方法，包括通过生成敌对网络从任意可用模式的组合中合成丢失的模态，并使用共性和差异敏感编码器及动态特征统一模块来提高图像合成质量和适应性，实验结果表明该方法在处理多种综合任务时具有优越的性能。

    Apr, 2023

  • 多模态情感识别和情感分析的多任务学习

    本文介绍了一个深度多任务学习框架，通过上下文级别的视听注意力机制来同时进行情感和表情分析，并在 CMU-MOSEI 数据集上达到了新的最佳性能。

    May, 2019