Jul, 2021

双双模态融合的相关性控制多模态情感分析

PDF
TL;DR该研究提出了一个新的端到端的网络，使用双模态配对表示执行融合和分离，并利用带有门控机制的 Transformer 架构进一步提高了最终输出，在 CMU-MOSI、CMU-MOSEI 和 UR-FUNNY 三个数据集上的实验结果验证了该模型明显优于 SOTA。
发现论文，激发创造
  • 张量融合网络用于多模态情感分析

    本文介绍了一种名为 Tensor Fusion Network 的新型模型，它通过学习语音、手势等多种动态因素，实现了对在线视频中语言、手势等多种情感信息的判断，同时还优于现有的多模态和单一模态情感分析方法。

    Jul, 2017

  • 基于门控机制的多模态情感分析

    本文讨论了多模态情感分析的三个方面：跨模态交互学习、多模态交互中的长期依赖性学习和一元和跨模态线索的融合，发现学习跨模态交互对解决该问题很有益。在两个基准数据集（CMU-MOSI 和 CMU-MOSEI 语料库）上进行实验，取得了 83.9％和 81.1％的准确率，分别比当前最先进技术提高了 1.6％和 1.34％的绝对精度。

    Feb, 2020

  • TransModality: 多模态情感分析的端到端 Transformer 融合方法

    通过提出一种基于 Transformer 的新型融合方法 TransModality，本文在多个多模态数据集上验证，得出其在多模态情感分析任务中有着比其他融合方法更好的性能。

    Sep, 2020

  • 基于量子启发式的多模态融合视频情感分析

    本文提出了一种基于量子理论的多模态情感分析框架，通过超定态和纠缠的方式对单模态内部交互和跨模态交互进行建模，并成功应用到了两个基准影片情感分析数据集上，普适性优于现有技术水平。

    Mar, 2021

  • 基于层次融合和上下文建模的多模态情感分析

    本论文提出了一种新的特征融合策略并应用在情感分析中，该策略通过分层融合两种模态，然后再将其与第三种模态融合，在个别话语的情感分析和视频剪辑的情感分析中均取得了优异的效果。

    Jun, 2018

  • 跨模态门控注意力融合用于多模态情感分析

    提出了 CMGA，即跨模态门控注意力融合模型，用于多模态情感分析，证明其在 MOSI 和 MOSEI 两个基准数据集上具有优异的性能，并展示了模型内不同组件的作用。

    Aug, 2022

  • 多模态情感分析基准测试

    本研究通过卷积神经网络从文本、视觉等多个角度提取特征，实现了情感分析和情绪识别，并取得了 10% 的性能提升。同时，我们还探讨了在多模态情感分析研究中经常被忽视的若干重要问题，如讲话者无关模型和模态重要性等，从而为今后的研究提出了新的基准，并展示了在执行此类任务时需要考虑的不同方面分析。

    Jul, 2017

  • 可信的多模态融合情感分析方法在有序情感空间中

    我们提出了一种可靠的多模态情绪有序网络（TMSON），通过减少不确定性来提高情绪分析性能，包括多模态视频情绪分析、多模态可靠性、有序关系和不确定性降低。

    Apr, 2024

  • 合成情感控制的多模态文本和图像数据的反馈

    通过构建一个大规模的、可控制的多模态反馈合成（CMFeed）数据集，我们提出了一个可控制的反馈合成系统，该系统能够生成文本和图像输入的感情控制反馈，通过使用 transformer 和 Faster R-CNN 网络提取文本和图像特征，并结合它们来生成反馈；该系统还通过基于排名的度量标准实施相似性模块来评估反馈的相关性，并使用解释性技术分析在生成无控制和可控制的反馈过程中文本和图像特征的贡献。

    Feb, 2024

  • 基于双向注意力对多模态情感识别的群门融合

    本文提出了一种新的模型 —— 门控双向对齐网络（GBAN），该模型利用注意力机制的双向对齐网络和一种新颖的分组门控融合层来明确捕捉语音和文本之间的对齐关系，并在不同模态中集成表示，从而在 IEMOCAP 数据集上优于现有的最先进的多模态方法。

    Jan, 2022