AAAIJan, 2021

基于量子认知驱动的决策融合视频情感分析

PDF
TL;DR本研究利用量子认知思想提出了一种新的视频情感分析数据融合策略，将话语表示为含有正、负情感判断量子叠加态的复值希尔伯特空间的可共存不可测量观测值，在基准数据集的实验中，该模型较现有决策层和内容层融合方法处理复杂情感信息更具优势，并能有效处理所有组合情况，包括所有单模分类器错误判断的极端情况。
video sentiment analysisquantum cognitionfusion strategybenchmarking datasetsincompatibility
发现论文，激发创造
  • 基于量子启发式的多模态融合视频情感分析

    本文提出了一种基于量子理论的多模态情感分析框架，通过超定态和纠缠的方式对单模态内部交互和跨模态交互进行建模，并成功应用到了两个基准影片情感分析数据集上，普适性优于现有技术水平。

    Mar, 2021

  • 量子 - 认知启发的情感分析模型综述

    本文总结了最新的量子认知启发情绪分析模型的发展，这些模型通过运用量子概率与深度神经网络相结合来解决情绪分析中所面临的挑战，并展示了相对传统模型的优势以及未来的研究方向。

    Jun, 2023

  • 混合量子 - 经典机器学习用于情感分析

    利用混合量子 - 经典机器学习算法，本文提出了一种用于情绪分析的方法，通过量子内核方法和变分量子电路分类器，结合主成分分析和 Haar 小波变换等经典降维技术，对英语和孟加拉语的两个数据集进行了评估，实验结果表明，在数据维度降低后，基于量子的混合算法表现一致且优于经典方法。

    Oct, 2023

  • 基于量子概率的联合多模态讽刺、情感和情绪分析框架

    本文提出一种基于量子概率的多模态讽刺、情感和情绪分析框架（QUIET），通过在两个数据集上进行大量实验，证明了 QUIET 与现有技术相比的有效性和优越性，并展示了量子概率在多情感分析中的巨大潜力。

    Jun, 2023

  • 融合音频、文本和视觉特征进行新闻视频情感分析

    该论文提出了一种新颖的方法来执行新闻视频的情感分析，基于从内容中提取的音频、文字和视觉线索的融合。该方法旨在为构建媒体宇宙的 ethos（身份）的 semiodiscoursive 研究做出贡献，我们计算了从面部表情中识别出的视觉强度、参与者的声音调制、文本语音和情感得分（极性）。实验结果显示，该方法在情感分类任务中达到了高达 84％的准确度，因此在新闻界中具有极高的应用潜力。

    Apr, 2016

  • 基于层次融合和上下文建模的多模态情感分析

    本论文提出了一种新的特征融合策略并应用在情感分析中，该策略通过分层融合两种模态，然后再将其与第三种模态融合，在个别话语的情感分析和视频剪辑的情感分析中均取得了优异的效果。

    Jun, 2018

  • 基于门控机制的多模态情感分析

    本文讨论了多模态情感分析的三个方面：跨模态交互学习、多模态交互中的长期依赖性学习和一元和跨模态线索的融合，发现学习跨模态交互对解决该问题很有益。在两个基准数据集（CMU-MOSI 和 CMU-MOSEI 语料库）上进行实验，取得了 83.9％和 81.1％的准确率，分别比当前最先进技术提高了 1.6％和 1.34％的绝对精度。

    Feb, 2020

  • 从视觉和声音模态获取无文本情感的可扩展多模态情感分类

    本文介绍了一种多模态融合模型，该模型专门使用高级视频和音频特征来分析口语句子的情感。该模型在 CMUMOSEI 数据集上进行了训练和测试，并获得了验证集上的 F1 得分 0.8049 和挑战测试集上的 F1 得分 0.6325。

    Jul, 2018

  • 可信的多模态融合情感分析方法在有序情感空间中

    我们提出了一种可靠的多模态情绪有序网络（TMSON），通过减少不确定性来提高情绪分析性能，包括多模态视频情绪分析、多模态可靠性、有序关系和不确定性降低。

    Apr, 2024

  • 社交媒体新闻帖子中的多模态语义不一致检测

    本研究提出了一种用于识别社交媒体新闻帖子中视频外观和文本标题之间语义不一致的分类架构，通过使用基于文本分析、自动音频转录、语义视频分析、对象检测、命名实体一致性和面部验证的多模态融合框架来发现社交媒体帖子中的视频和标题之间的不匹配。通过训练和测试基于 4,000 个 Facebook 新闻帖子的新视频数据集，我们的多模态方法在随机标题和外观不匹配的情况下实现了 60.5％的分类准确性，而单模分别准确率不到 50％。进一步的消融研究证实了跨模态融合对于正确识别语义不一致性的必要性。

    May, 2021