Sep, 2023

多模态情感调节和情感一致性对于具身对话代理的重要性

PDF
TL;DR提出了 ACTOR（Affect-Consistent mulTimodal behaviOR generation）框架，旨在通过生成多模态行为来增加对情感的知觉；在用户研究中证明了多模态行为在一致和不一致情感条件下的知觉，结果表明一致情感条件下多模态行为的知觉更准确，因此，多模态情感调节和一致性对于增强具有体验性对话代理的情感知觉至关重要。
embodied virtual agentsexpressive behaviorsmultimodal responsesactor frameworkperception of affects
发现论文，激发创造
  • 情感现象在多模态交互研究中的作用扩展

    本文在交互式多模态和情感计算交叉领域进行了研究，探讨了计算机识别和表达情感现象的能力，并发现了研究的主要重点和不足之处。通过分析大量文献，我们发现研究主要集中在如何使计算机能够识别和表达情感现象，而缺乏人工智能系统通过情感和情绪预测增强对人类社交行为和认知状态的理解的研究。

    May, 2023

  • 使用视觉、音频和文本特征进行多模态话语级情感分析

    本文介绍了一种利用 LSTM 结合口语音频和文本信息对多媒体剪辑中的情感进行识别的多模态神经架构，其优于单模态基线，并在唤起任务中达到了 0.400 的相关性系数和在价值任务中达到了 0.353 的相关系数。

    May, 2018

  • 音视频情感评估与自主汽车：应用

    该研究探讨了在自主驾驶汽车中进行情感分析、乘客建模和情感分析以及在特定案例中将自主驾驶汽车的情感分析应用实现的挑战和潜在途径。

    Mar, 2022

  • 面向个性化情感交互的多模态社交机器人

    本研究采用强化学习方法建立了一个多模态情感交互框架，利用人类用户的情感状态作为交互的奖励因素，优化了机器人的行为策略，并针对用户进行个性化情感交互来增强社交场景下机器人的自然性和吸引力。

    Oct, 2021

  • 艺术情感感知的理解

    通过使用图像和文本，我们研究了艺术品对观众情感的影响，并利用多模态分类任务探究了模型的性能表现，发现单模态多模态 transformer 模型比图像模型和双模态模型性能更好。同时，与文本模型 BERT 相比，采用单模态模型 MMBT 能够提高在极端正负情感类别上的性能。

    Oct, 2021

  • 情感社交人形智能系统

    本文提出了一种智能虚拟助手，可通过情感语义解释人类语音情感， 并且通过声音风格转移和人工生成方法生成特定情感的声波，使得与之互动的人有更好的体验。

    Apr, 2023

  • 面向社交机器人的数据驱动情感身体语言生成

    采用深度学习生成模型来生成机器人情感表情，通过几个手动设计的机器人身体表达生成一个新的符合上下文感知的表达。评估结果表明，生成的表情与手动设计的表情没有显著差异，且能达到不同目标情绪的效果。

    May, 2022

  • 利用多模态场景信息的情感感知

    利用预训练视觉语言模型从图像中提取前景环境描述，并结合其他多元素素进行情感预测，在自然环境和电视秀等数据集中取得了可行的结果。

    Mar, 2023

  • 在时间连续的多模态情感识别中容纳缺失的模态

    提出了一种基于 Transformer 的架构，用于识别情绪的正性和负性，即使输入模态缺失，该模型通过交叉关注和自关注机制强调模态之间的关系，提高了对弱显著输入的学习过程，并在 Ul-TSST 数据集上实验，与后期融合基准方法相比，预测唤醒值的一致性相关系数的评估提高了 37％，预测价值的一致性相关系数的评估提高了 30%。

    Nov, 2023

  • 视频中多模态特征提取和基于注意力的融合情绪估计

    本文介绍了一个基于多模态的情感估计框架，通过提取比赛数据集中的不同长度的视频的多模态特征，包括音频、姿态和图像，确定情感趋势。该系统在验证数据集中达到 0.361 的性能。

    Mar, 2023