Oct, 2023

MMTF-DES：一种融合多模态 Transformer 模型的社交媒体数据的欲望、情感和情绪分析

PDF
TL;DR通过使用图像文本配对特征表示的统一多模态变换器框架，我们的研究旨在识别人类的欲望、情绪和情感，并从多个角度整合多样化的特征，以更好地理解人类欲望。
desiresentiment analysisemotion recognitionmultimodal transformer-based frameworkhuman desire understanding
发现论文，激发创造
  • 使用预训练转换器进行文本、语音和视频的多模态情绪识别

    通过使用多模态感情识别方法和各种融合技术，本研究在 IEMOCAP 多模态数据集上实现了 75.42% 的准确率，主要关注多模态感情识别、自监督学习、迁移学习和 Transformer 模型。

    Feb, 2024

  • 艺术情感感知的理解

    通过使用图像和文本，我们研究了艺术品对观众情感的影响，并利用多模态分类任务探究了模型的性能表现，发现单模态多模态 transformer 模型比图像模型和双模态模型性能更好。同时，与文本模型 BERT 相比，采用单模态模型 MMBT 能够提高在极端正负情感类别上的性能。

    Oct, 2021

  • 情感分析中的多特征和多模态补充融合

    该论文提出了一种基于音频和文本的多模态情感分析方法，使用多特征融合和多模态融合策略进行深层特征融合，通过实验证明了该方法在多个情感分析数据集上的有效性和优越性。

    Apr, 2019

  • 基于文本为主的分层高阶融合的多视角多模态交互情感分析

    该研究提出了一种基于多模态信息的情感分析框架 ——InterMulti，并利用一种新颖的基于文本的 THHF 模块，将多种交互表现形式融合成综合的多模态交互表示来识别情感，实验结果表明，该方法的表现优于现有技术。

    Dec, 2022

  • 高效双层特征恢复多模态 Transformer 用于鲁棒性多模态情感分析

    本文提出了一种名为 EMT-DLFR 的通用且统一的框架，以解决当前多模态数据建模过程中的两个主要挑战：一是无法进行未对齐的多模态数据中的跨模态交互，而是存在随机模态特征缺失问题，此框架令多模态交互更加高效且应对缺失数据具有更强的鲁棒性。

    Aug, 2022

  • 多模态情感分析探索情绪结构

    本文提出一种新的多模态情感分析方法，使用深度神经网络结合视觉分析和自然语言处理，旨在推断用户潜在的情感状态并且在社交网络中应用此方法实现自我报告的情感标签的预测，实验证明该模型的性能优于仅基于图像或文本的单独模型，并具有与情绪相关的合理词汇列表。

    May, 2018

  • TransModality: 多模态情感分析的端到端 Transformer 融合方法

    通过提出一种基于 Transformer 的新型融合方法 TransModality，本文在多个多模态数据集上验证，得出其在多模态情感分析任务中有着比其他融合方法更好的性能。

    Sep, 2020

  • 张量融合网络用于多模态情感分析

    本文介绍了一种名为 Tensor Fusion Network 的新型模型，它通过学习语音、手势等多种动态因素，实现了对在线视频中语言、手势等多种情感信息的判断，同时还优于现有的多模态和单一模态情感分析方法。

    Jul, 2017

  • 使用高级音频和文本特征的多模态情感识别

    本篇研究提出一个基于深度学习和跨媒介表征学习的情感识别方法，该方法融合了文字和语音特征，并通过评估发现其在 IEMOCAP 数据集上表现优于其它方法。

    Sep, 2021

  • 基于 Transformer 的联合编码情感识别和情感分析

    本文介绍一种基于 Transformer 的联合编码方法，用于情感识别和情感分析，已提交至 ACL20 多模式语言比赛评估。

    Jun, 2020