CVPRMar, 2021

利用情感因果关系对多媒体内容进行情感分析

PDF
TL;DR通过 Affect2MM，我们提供了一种用于多媒体内容时间序列情感预测的学习方法，利用情感因果理论来计算实现对电影片段中情感的显式建模，通过基于注意力机制和格兰杰因果性的方法来显式建模情感的时间因果性，并使用 LSTM 的情感感知模型进行评估。
time-series emotion predictionemotion causation theoriesgranger causalitymultimedia contentlstm-based learning model
发现论文，激发创造
  • 基于多模态深度模型的电影情感反应预测

    本研究旨在开发和分析多模态模型，预测观众观看电影片段时的情感反应。研究发现，通过提取 RGB 帧和光流的特征以及音频中的各种低级描述符，采用深度神经网络模型来进行情感预测更为精确。其中，光流特征比 RGB 视频更加信息含量丰富，且音频特征的预测精度高于视频特征。

    Sep, 2019

  • 使用视觉、音频和文本特征进行多模态话语级情感分析

    本文介绍了一种利用 LSTM 结合口语音频和文本信息对多媒体剪辑中的情感进行识别的多模态神经架构，其优于单模态基线，并在唤起任务中达到了 0.400 的相关性系数和在价值任务中达到了 0.353 的相关系数。

    May, 2018

  • Affect-LM：用于定制情感文本生成的神经语言模型

    本文提出了一种基于 LSTM 模型的扩展 Affect-LM，用于在生成对话文本时增加情感内容的控制因素，研究表明，通过 Affect-LM 生成的自然语言句子不会破坏语法正确性。Affect-LM 学习到了区分情感的单词表达方式，迷惑度实验表明在对话文本中增加情感信息可以提高语言模型的预测效果。

    Apr, 2017

  • 通过融合 MOOC 学习场景中的视频语义进行多模态情感识别

    探索视频语义信息对学习者情绪的影响，本文提出一种融合视频语义信息和生理信号的多模态情绪识别方法，实现了情绪识别性能的显著提升，为 MOOC 学习情景的情绪识别研究提供了新的视角和高效的方法。

    Apr, 2024

  • EmoLLMs：一系列用于全面情感分析的情感大型语言模型和注释工具

    基于指令数据微调各种 LLMs 的 EmoLLMs 系列兼具情感分类和回归任务的综合情感分析模型，在各类任务中超越了现有的 LLMs、ChatGPT 和 GPT-4，具有与 ChatGPT 和 GPT-4 相当的情感分析自动化标注工具的广泛应用能力。

    Jan, 2024

  • 视频中多模态特征提取和基于注意力的融合情绪估计

    本文介绍了一个基于多模态的情感估计框架，通过提取比赛数据集中的不同长度的视频的多模态特征，包括音频、姿态和图像，确定情感趋势。该系统在验证数据集中达到 0.361 的性能。

    Mar, 2023

  • 通过整合多模态知识进行情感行为分析

    通过利用各种数据集和方法设计，我们可以在自然环境中全面评估情感行为分析技术的真实性和适用性，从而实现情感智能技术，使设备能像人类一样理解和反应我们的情感。

    Mar, 2024

  • 情感不欺人：利用情感线索的音视频 Deepfake 检测方法

    本文提出了一种基于学习的方法来检测真实和虚假的 deepfake 多媒体内容，通过提取和分析同一视频中两种音频和视觉模态之间的相似性，以及提取和比较情感线索来推断输入视频是 “真实” 还是 “虚假”，并提出了一种深度学习网络，同时利用音频和视频模态以及两种模态的感知情绪进行 deepfake 检测，实验结果表明，本文方法在 DeepFake-TIMIT 数据集和 DFDC 数据集上分别达到了 84.4％和 96.6％的 AUC，是首个同时利用音频和视觉模态以及两种模态的感知情绪进行 deepfake 检测的方法。

    Mar, 2020

  • 利用分层注意策略和词级对齐的多模态情感分析

    本文研究了从多个数据来源中学习识别和解释人类情感和主观信息的多模态情感计算问题，提出了一种基于 attention 机制和单词级融合的分层多模态体系结构，以从文本和音频数据中分类识别发言级别的情感和情绪。结果表明，该模型在现有数据集上表现优异。

    May, 2018

  • AttendAffectNet: 基于自注意力网络从电影中预测情感响应

    本文提出不同变体的自我注意力机制网络，用于从电影中预测情感，融合音频和视频，结合多模态关系，并将自我注意力机制应用于情感预测的特征提取中，证明其在 COGNIMUSE 数据集和 MediaEval 2016 情感影响任务中比时域的自我注意力机制更有效，也优于很多最先进的情感预测模型。

    Oct, 2020