Nov, 2019

在复杂故事中建模情感：斯坦福情感叙事数据集

PDF
TL;DR本文通过时间序列建模和高质量数据集的采集来建立动态情感刺激的模型，在此基础上介绍第一版本的斯坦福情感叙述数据集（SENDv1）。该数据集是自我节奏、非手稿的丰富、多模态视频，标注情感质量随时间的变化，为情感计算的当代时间序列方法提供了挑战，并通过多种基准和最先进的建模方法展示了良好的表现。
affective computingtime-series modelingemotional stimulisendv1multimodal videos
发现论文，激发创造
  • 时间建模至关重要：一种新的面向语音情感识别的时间情感建模方法

    本文介绍了一种基于时间的情感建模方法，称为 TIM-Net，它学习来自各种时间尺度的多尺度情境情感表示，并用于提高语音情感识别的性能，实验结果表明 TIM-Net 在六个基准数据集上表现出优异的性能。

    Nov, 2022

  • 利用 Transformer 和弱监督学习建模书面故事中的情感轨迹

    通过研究连续情感评价模型，我们收集、分析了儿童故事中的情感内容，提出了一种弱监督学习的方法来预测故事情感变化的连续值，通过 DeBERTa 模型改进，达到了较高的相关性和有效性。

    Jun, 2024

  • EmpathicStories++: 一个面向个人经历的多模态数据集

    该研究提出了一个多模态数据集，用于个人经历分享中的共情研究，其中包含 41 名参与者在与人工智能代理共享脆弱经历并阅读共情共鸣故事期间的 53 小时视频、音频和文本数据。该数据集是首个关于共情的纵向数据集，通过社交机器人在参与者家中一个月的使用中收集，在自然的共情叙事互动中参与者与 AI 代理进行交互。研究引入一项新的任务，基于个人经历预测个体对他人故事的共情，评估其在个人共享故事环境和他们阅读故事的反思中的效果。研究为未来在上下文化和纵向共情建模方面的改进铺平了道路，并为发展富有共情能力的 AI 系统和理解真实世界情境下人类共情的复杂性提供了宝贵资源。

    May, 2024

  • 情感计算的深度学习：决策支持中基于文本的情感识别

    本研究旨在通过深度学习和转移学习来提高情感计算中文段落情感识别精度。我们使用改进后的循环神经网络模型，并提出 Sent2affect 模型进行迁移学习。实验结果表明，我们的模型在 6 个基准数据集上表现出色，相对于传统机器学习方法有了显著提升。这些发现对情感计算的应用具有重要的启示意义。

    Mar, 2018

  • 基于深度神经网络的端到端多模态情感识别

    本研究提出了一种运用视觉和听觉模态的情感识别系统，其通过深度卷积神经网络提取语音特征，通过 50 层的深度残差网络提取视觉特征，并运用长短时记忆网络进行机器学习算法，通过对 AVEC 2016 情感识别研究挑战的 RECOLA 数据库的自发和自然情绪的预测，明显优于传统的以听觉和视觉手工制作特征为基础的方法。

    Apr, 2017

  • 情感嵌入学习：从不同情感数据集中获取稳定统一的抽象

    人类情感的计算研究涉及各种沟通方式和媒体格式，本文提出了一个统一的计算模型，通过学习共享的情感表示来实现对异质数据和标签类型的协同工作，以提高可重用性、可解释性和灵活性，并且不降低预测质量。

    Aug, 2023

  • 梦境叙事中的字符和情绪检测的序列到序列语言模型

    通过自然语言序列到序列生成框架，本研究首次在开放的 DreamBank 梦境叙述语料库的英文部分中对字符和情感进行检测，结果显示语言模型能够有效应对这一复杂任务。

    Mar, 2024

  • eMotions：一份用于短视频情绪识别的大规模数据集

    现今，短视频对于信息获取和分享至关重要。鉴于短视频情感数据的缺乏，我们介绍了一个大规模的数据集，名为 eMotions，包含 27996 个视频。我们通过优化人员分配和多阶段注释来减轻主观因素对标签质量的影响。另外，我们通过有针对性的数据采样提供了类别平衡和面向测试的变体。我们提出了一种端到端的基线方法 AV-CPNet，采用视频 Transformer 来更好地学习语义相关表示。我们进一步设计了两阶段的跨模态融合模块，来补充地建模音视频特征之间的相关性。然后，我们应用了包含三种情感极性的 EP-CE 损失来指导模型优化。对于九个数据集的广泛实验结果验证了 AV-CPNet 的有效性。数据集和代码将在此 https URL 开放。

    Nov, 2023

  • 基于统计学的 CNN 音频视觉特征选择用于瞬时估计人类情感状态

    使用卷积神经网络统计学习从互信息选择的最小冗余最大相关性的表情特征进行回归，可以高于传统的音频或视频特征，实时预测情感状态的准确度。

    Aug, 2017

  • DENS：用于多类情感分析的数据集

    介绍了一份英语长篇叙述的多类情感分析新数据集 (DENS)，是由 Project Gutenberg 和 Wattpad 上的现代在线叙述组成，使用 Amazon Mechanical Turk 进行注释，其中，预训练的 BERT 模型微调的结果最佳，平均微型 F1 得分为 60.4％，该数据集提供了一个新的机会，需要超越现有的句子级技术进行情感分析。

    Oct, 2019