DAiSEE: 野外用户参与度识别
考虑到学习者参与可以对学习者和教师带来共同的利益，本文提出了一个通用的轻量级模型，以选择和处理特征来检测学习者的参与度，同时保留随时间变化的顺序时序关系。通过分析公开可用的 DAiSEE 数据集中的视频，该模型能够捕捉学习者参与度的动态本质。此外，本文提出了一个适应策略，以通过利用与教育相关的数据集的情感状态来找到新的标签，从而提高模型的判断能力。该模型在特定实现中取得了 68.57％的准确率，并且优于研究中研究了的用于检测学习者参与度水平的最先进模型。
May, 2024
本论文呈现了一个包含 4011 个关于麻疹疫情爆发的视频数据集，涵盖 2024 年 1 月 1 日至 2024 年 5 月 31 日间在 264 个网站上发布的视频。这个数据集主要包括 YouTube 和 TikTok，分别占视频的 48.6% 和 15.2%。作者进行了视频标题和描述的情感分析、主观性分析和细粒度情感分析，并在数据集中提供了用于对机器学习算法进行情感分析或主观性分析的测试和训练的结果，以及可供其他应用程序使用的相关工作。最后，本论文还提供了一些基于这个数据集可进行的开放性研究问题的列表。
Jun, 2024
SEWA 数据库提供了超过 2000 分钟的语音和视觉数据，包括来自六种文化、年龄在 18 至 65 岁之间的 398 人。此外，数据库还提供了基于面部和语音特征的多项标注，如面部标记、面部行动单元（FAU）、各种音频反应等等。这是情感计算领域非常有价值的研究资源，相信会推动自然人机交互、自动人体感知、人类行为分析等研究领域的进一步发展。
Jan, 2019
通过引入一个新的大型数据集 VEATIC，作者提出了一个新的计算机视觉任务来推断每个视频帧中选择角色的情感，同时提出了一个简单的模型来评估这个任务，并与其他类似数据集的性能进行比较，实验证明了 VEATIC 的泛化能力。
Sep, 2023
本文介绍了最近的一个研究项目，针对静态图像表情的识别，构建了一个大规模的视频多场景数据集 FERV39k，为 FER 算法的性能评估提供了一个更实际的场景，提出了一种融合三个方面构建这种数据集的方法，并提供了四种基线框架的实验基准和对其在不同场景下性能的进一步分析，为未来的研究提出了一些挑战性问题。
Mar, 2022
现今，短视频对于信息获取和分享至关重要。鉴于短视频情感数据的缺乏，我们介绍了一个大规模的数据集，名为 eMotions，包含 27996 个视频。我们通过优化人员分配和多阶段注释来减轻主观因素对标签质量的影响。另外，我们通过有针对性的数据采样提供了类别平衡和面向测试的变体。我们提出了一种端到端的基线方法 AV-CPNet，采用视频 Transformer 来更好地学习语义相关表示。我们进一步设计了两阶段的跨模态融合模块，来补充地建模音视频特征之间的相关性。然后，我们应用了包含三种情感极性的 EP-CE 损失来指导模型优化。对于九个数据集的广泛实验结果验证了 AV-CPNet 的有效性。数据集和代码将在此 https URL 开放。
Nov, 2023
我们引入了 FindingEmo，一个新的图像数据集，包含对 2.5 万张图片的注释，专门用于情绪识别。与现有数据集相反，它专注于描绘多个人物在各种自然、社交环境中的复杂场景，注释是整体进行的，超越了传统对人脸或单个人的关注。注释的维度包括情感价值、情感激动和情绪标签，使用 Prolific 收集注释。除了注释，我们还发布了指向原始图片的 URL 列表，以及所有相关的源代码。
Feb, 2024
利用 Multi-Task Contrastive Learning for Affect Representation（MT-CLAR）结合深度学习技术，通过对表情图片的对比学习来推断表情表达的相似性，以及两个面部表情在情感价值和唤起水平上的差异，并扩展该框架用于自动化视频标注。
Aug, 2023
借助人工智能（AI）的进步和应用，个性化教育可能成为未来新教育系统的基石。本研究提供了 PEEKC 数据集和 TrueLearn Python 库，其中包含一系列在线学习者状态模型，对促进学习者参与建模至关重要。TrueLearn 模型系列是根据 “开放式学习者” 概念设计的，使用直观的用户表达方式。这个可扩展的在线模型系列还可以帮助最终用户可视化学习者模型，这可能在未来促进用户与他们的模型 / 推荐者之间的互动。丰富的文档和编码示例使得该库对于机器学习开发人员和教育数据挖掘和学习分析专业人员都非常易于使用。实验结果显示，该数据集和库的效用显著超过了比较基准模型。数据集包含大量与人工智能相关的教育视频，对于构建和验证面向 AI 的教育推荐系统具有重要意义。
Dec, 2023