Aug, 2023

多模态多损失融合网络

PDF
TL;DR通过多模态特征的最优选择和融合，并结合神经网络以提高情感检测，我们比较了不同的融合方法，并研究了多损失训练对多模态融合网络中子网络性能的影响，发现了与子网络性能相关的有用发现。我们的最佳模型在三个数据集（CMU-MOSI、CMU-MOSEI 和 CH-SIMS）中达到了最先进的性能，并在大多数指标上优于其他方法。我们发现在多模态特征上进行训练可以提高单模态测试的性能，并且基于数据集注释模式设计融合方法可以增强模型性能。这些结果表明了在神经网络中优化特征选择和融合方法以增强情感检测的路线图。
optimal selectionfusion of featuresemotion detectionneural networkmulti-modality fusion network
发现论文，激发创造
  • 语音情感识别的实证研究与改进

    本文提出了一种通过视角损失来改进的多模态语音情感识别模型，通过融合音频和文本信息来提高多模态任务的性能表现，在 IEMOCAP 数据集上获得了最新的最佳表现。

    Apr, 2023

  • 多模态情感识别和情感分析的多任务学习

    本文介绍了一个深度多任务学习框架，通过上下文级别的视听注意力机制来同时进行情感和表情分析，并在 CMU-MOSEI 数据集上达到了新的最佳性能。

    May, 2019

  • 张量融合网络用于多模态情感分析

    本文介绍了一种名为 Tensor Fusion Network 的新型模型，它通过学习语音、手势等多种动态因素，实现了对在线视频中语言、手势等多种情感信息的判断，同时还优于现有的多模态和单一模态情感分析方法。

    Jul, 2017

  • 多模态情感分析基准测试

    本研究通过卷积神经网络从文本、视觉等多个角度提取特征，实现了情感分析和情绪识别，并取得了 10% 的性能提升。同时，我们还探讨了在多模态情感分析研究中经常被忽视的若干重要问题，如讲话者无关模型和模态重要性等，从而为今后的研究提出了新的基准，并展示了在执行此类任务时需要考虑的不同方面分析。

    Jul, 2017

  • 基于门控信息融合网络的鲁棒性深度多模态学习

    本文提出了一种在存在不完善模态的情况下设计稳健的深度多模态学习体系结构的方法 - 通过使用深度融合架构进行目标检测，并使用带有门控信息融合网络调节贡献权重进行构建，以实现具有抗干扰性的性能表现提高，对于 KITTI 数据集的单发探测器（SSD），本文通过数据增强方案和提出的融合网络取得了显著的性能提升。

    Jul, 2018

  • 喜悦：多模态情感识别的联合模态融合和图对比学习

    通过多模态情感识别，我们提出了一种融合多模态、图对比学习的方法（Joyful），实现全局情境特征与单一模态特征的深度交互与融合，并在三个基准数据集上实验，显示 Joyful 具有最先进的性能。

    Nov, 2023

  • 多模态数据自适应融合技术

    本研究提出了两种自适应融合网络（Auto-Fusion、GAN-Fusion），通过对不同模态的特征进行有效的上下文建模，在多模态机器翻译和情感识别等任务中取得了比现有方法更好的效果。

    Nov, 2019

  • EffMulti：高效建模复杂多模态交互以进行情感分析

    本文提出了一种多模态情感分析框架 EffMulti，采用三种不同的多模态潜在表示来捕捉不同视角下的复杂情感交互，并提出了一种模态 - 语义层次融合方法来融合这些表示，实验结果表明，EffMulti 在进行情感分析方面表现极佳。

    Dec, 2022

  • 深度学习多模态数据融合中对抗样本的脆弱性研究

    探究了目前多模态融合模型是否利用补充信息来防御对抗攻击，通过在 MFNet 上应用 FGSM 和 PGD 等对抗攻击进行实验验证，发现多模态融合模型在对抗攻击方面仍然存在脆弱性。

    May, 2020

  • 一种具有多模态中间融合网络和流形学习的应对压力检测方法

    通过多模态深度学习方法和流形学习的降维技术，本文提出了一种中间多模态融合网络，成功地在处理和分析数据时降低了计算复杂度，并在准确性方面优于其他网络。

    Mar, 2024