MMJul, 2022

基于 MLP 的多模态情感分析和抑郁评估模型

PDF
TL;DR本研究采用 CubeMLP 基于 MLP 的多模态特征处理框架，将不同来源的情感分析和抑郁症评估数据混合并使用，证实其可在计算成本更低的状态下取得最先进的性能。
multimodal sentiment analysisdepression estimationmlp-based techniquesfeature-mixing perspectivecubemlp
发现论文，激发创造
  • CLMLF：用于多模态情感检测的对比学习和多层融合方法

    该论文提出了一种用于多模态情感检测的对比学习和多层融合（CLMLF）方法，通过对文本和图像进行隐藏表征编码，设计了两个对比学习任务，标签对比学习和数据对比学习，有助于模型学习多模态数据中与情感相关的共同特征。在公开数据集上进行的大量实验证明了该方法与现有方法相比，在多模态情感检测方面具有很好的效果。

    Apr, 2022

  • 多模态情感分析基准测试

    本研究通过卷积神经网络从文本、视觉等多个角度提取特征，实现了情感分析和情绪识别，并取得了 10% 的性能提升。同时，我们还探讨了在多模态情感分析研究中经常被忽视的若干重要问题，如讲话者无关模型和模态重要性等，从而为今后的研究提出了新的基准，并展示了在执行此类任务时需要考虑的不同方面分析。

    Jul, 2017

  • EmoLLM：多模态情感理解与大型语言模型

    通过引入 EmoBench 和 EmoLLM，基于多模态大型语言模型的多模态情感理解性能得到显著提升，提供了更深入、更细致的人类情感理解，为人机交互、心理健康支持和共情人工智能系统等领域的应用开发提供了可能。

    Jun, 2024

  • 基于次注意力融合的多模态抑郁症评估

    本研究使用子注意力机制和卷积双向 LSTM 作为基础，对多模式数据中的抑郁症进行自动识别，并在公共数据集上进行了广泛的实验，结果表明该模型在检测抑郁症方面表现出 0.89 的准确度和 0.70 的 F1 分数，在抑郁症严重性评估方面表现出 4.92 的平均绝对误差，并且相较于以往模型在融合多模态数据方面表现更优异，并且可通过端到端的学习方法减少预处理步骤。

    Jul, 2022

  • 基于门控机制的多模态情感分析

    本文讨论了多模态情感分析的三个方面：跨模态交互学习、多模态交互中的长期依赖性学习和一元和跨模态线索的融合，发现学习跨模态交互对解决该问题很有益。在两个基准数据集（CMU-MOSI 和 CMU-MOSEI 语料库）上进行实验，取得了 83.9％和 81.1％的准确率，分别比当前最先进技术提高了 1.6％和 1.34％的绝对精度。

    Feb, 2020

  • 多模态情感分析探索情绪结构

    本文提出一种新的多模态情感分析方法，使用深度神经网络结合视觉分析和自然语言处理，旨在推断用户潜在的情感状态并且在社交网络中应用此方法实现自我报告的情感标签的预测，实验证明该模型的性能优于仅基于图像或文本的单独模型，并具有与情绪相关的合理词汇列表。

    May, 2018

  • 张量融合网络用于多模态情感分析

    本文介绍了一种名为 Tensor Fusion Network 的新型模型，它通过学习语音、手势等多种动态因素，实现了对在线视频中语言、手势等多种情感信息的判断，同时还优于现有的多模态和单一模态情感分析方法。

    Jul, 2017

  • AI 深度学习算法在多模态情感分析中的实施

    通过将两通道卷积神经网络与环状网络相结合，建立了一种多模态情感识别方法，该方法可以有效提取情感信息并提高学习效率。实验表明，基于特征融合的情感分析方法能够有效提高情感数据集的识别准确性，并减少学习时间。模型具有一定的泛化能力。

    Nov, 2023

  • 多通道注意力图卷积神经网络结合情感融合进行多模态情感分析

    本文介绍了一个基于多通道注意力图卷积网络（MAGCN）的多模态情感分析框架，它将情感知识融合到跨模态交互学习中，并在多个数据集上实现了竞争性表现。

    Jan, 2022

  • M2Lens：情感分析多模型的可视化与解释

    该研究提出了一种交互式的可视化分析系统，M2Lens，用于可视化和解释基于深度学习的多模态情感分析模型，提供了全局、子集和局部水平上的模态间互动的解释，从语言、声学和视觉模式探索模型行为。

    Jul, 2021