AAAIApr, 2016

融合音频、文本和视觉特征进行新闻视频情感分析

PDF
TL;DR该论文提出了一种新颖的方法来执行新闻视频的情感分析，基于从内容中提取的音频、文字和视觉线索的融合。该方法旨在为构建媒体宇宙的 ethos（身份）的 semiodiscoursive 研究做出贡献，我们计算了从面部表情中识别出的视觉强度、参与者的声音调制、文本语音和情感得分（极性）。实验结果显示，该方法在情感分类任务中达到了高达 84％的准确度，因此在新闻界中具有极高的应用潜力。
发现论文，激发创造
  • 从视觉和声音模态获取无文本情感的可扩展多模态情感分类

    本文介绍了一种多模态融合模型，该模型专门使用高级视频和音频特征来分析口语句子的情感。该模型在 CMUMOSEI 数据集上进行了训练和测试，并获得了验证集上的 F1 得分 0.8049 和挑战测试集上的 F1 得分 0.6325。

    Jul, 2018

  • 多模态情感分析基准测试

    本研究通过卷积神经网络从文本、视觉等多个角度提取特征，实现了情感分析和情绪识别，并取得了 10% 的性能提升。同时，我们还探讨了在多模态情感分析研究中经常被忽视的若干重要问题，如讲话者无关模型和模态重要性等，从而为今后的研究提出了新的基准，并展示了在执行此类任务时需要考虑的不同方面分析。

    Jul, 2017

  • 社交媒体视觉文本情感分析综述

    本文研究了多模态情感分析领域，探讨了社交媒体网络上发布的视觉和文字数据，并提供了包括数据预处理、特征提取技术、情感基准数据集以及适用于不同领域的多种分类方法和数据融合策略。同时，我们还介绍了该领域面临的主要挑战和关键的情感应用。

    Jul, 2022

  • 使用视觉、音频和文本特征进行多模态话语级情感分析

    本文介绍了一种利用 LSTM 结合口语音频和文本信息对多媒体剪辑中的情感进行识别的多模态神经架构，其优于单模态基线，并在唤起任务中达到了 0.400 的相关性系数和在价值任务中达到了 0.353 的相关系数。

    May, 2018

  • 情感分析中的多特征和多模态补充融合

    该论文提出了一种基于音频和文本的多模态情感分析方法，使用多特征融合和多模态融合策略进行深层特征融合，通过实验证明了该方法在多个情感分析数据集上的有效性和优越性。

    Apr, 2019

  • 野外视频情感分类的时间多模态融合

    本文通过使用卷积神经网络改进面部描述符，并探索多种融合方法，建立并优化 CNN 架构，解决情感分类问题，获得了 2017 年 “Emotion in the Wild” 挑战赛第四名的准确性，达到了 58.8％。

    Sep, 2017

  • 多模态方法在视频评论的细粒度情感分析中的应用

    本研究提出了一种多模态方法，从视频评论中挖掘细粒度意见，并且无需时间注释，利用音频、视频和语言转录的特征来确定评论中讨论的物品方面以及情感倾向。我们在两个数据集中验证了该方法，并表明利用视频和音频模态能够提高性能，从而更好地理解视频评论。

    May, 2020

  • 将声音与图像结合以确定视频中的发言者

    本文提出了一种音视频关联系统，将音频和视觉信号的信息融合，通过对视频中的统计数据的聚合实现面部和声音的有效关联，无需针对此任务的具体训练数据，并利用音频和视觉流中信息的自然相干性，特别适用于跟踪网络视频中的说话人，通过对真实数据集的实验表明，该方法的准确率约为 71％。

    May, 2017

  • 探索与应用音频情感分析在音乐中

    通过对音乐情感的计算模型进行研究，本文试图预测音乐片段的情感变化以及确保平稳过渡的下一个情感值，以提供在治疗和音乐排队中的应用。

    Feb, 2024

  • 融合声学和基于文本特征的情感识别的方法

    使用声学和文本特征，研究通过不同方法对语言情感进行分类的研究。使用 BERT 获取情感转录中所包含信息的上下文化词嵌入，相比使用 Glove 嵌入，结果表明表现更好。我们还提出并比较不同的音频和文本模式结合策略，并在 IEMOCAP 和 MSP-PODCAST 数据集上进行评估。我们发现，在这两个数据集上，融合声学和文本系统是有益的，尽管在评估的融合方法中只观察到微小的差异。最后，对于 IEMOCAP 数据集，我们展示了用于定义交叉验证折叠的标准方法对结果的巨大影响。特别是，为该数据集创建折叠的标准方法导致对于文本系统的性能高度乐观的估计，这表明一些先前的作品可能夸大了结合转录的优势。

    Mar, 2024