Jun, 2015

SALSA: 多模态群体行为分析的新数据集

PDF
TL;DR该研究基于 SALSA 数据集，实现了针对自由对话群体的多模态社交场景分析，该分析可以自动提取每个参与者的行为和个性特点，并论证了多个线索的协同作用如何有助于对社交互动的自动分析。
free-standing conversational groupssocial scene analysismultimodal analysissocial interactionautomated analysis
发现论文，激发创造
  • ELSA：评估城市街道上的社交活动定位

    为评估城市街道中社交活动的定位而提出了一个考察社交活动定位的新的基准数据集 (ELSA)，利用城市社会学和设计的理论框架，包含 937 张手动标注的图像和 4300 多个多标签边界框，用于个人和群体活动的分类，公开供研究社区使用。

    Jun, 2024

  • 流媒体视频中的自监督式多角色社交活动理解

    在这项研究中，我们提出了一种基于多演员预测学习的自监督方法，用于流媒体视频中的社交活动识别。通过使用视觉语义图结构，我们对社交互动进行建模，从而实现了关系推理，使其在具有最少标记数据的情况下具有鲁棒性表现。该方法在标准群体活动识别基准上取得了竞争性的性能，并通过三个公开可用的动作定位基准的评估证明了其可泛化到任意动作定位的能力。

    Jun, 2024

  • 多媒体社交分析的数据集和基准测试

    该论文介绍了一个通过从社交媒体网站获取包含多个成对图像 / 视频和文本的帖子以及包含图像 / 视频和 / 或文本的评论树来实现多模态学习的新的可公开获取的数据集，并提供了基线性能分析，适用于图像字幕、情感分析和预训练模型等多项任务。

    Jun, 2020

  • BEAT：面向对话手势合成的大规模语义和情感多模态数据集

    使用多模态数据构建最大的动作捕捉数据集 BEAT，探究人体动作相关性以及语义相关性建立基于 CaMN 的愉悦对话姿态综合模型，并且提出了语义相关性手势回溯指标 SRGR。

    Mar, 2022

  • 社交场景理解：端到端的多人动作定位与集体活动识别

    该论文提出了使用神经网络对人类社交行为进行检测和推断的方法，并通过检测和推断的结果实现了对个体和群体行为的估计。该论文在多个公共基准测试上展示了算法的最新性能。

    Nov, 2016

  • 随机场景感知运动预测

    该研究提出了一种新的数据驱动的、随机的运动综合方法 SAMP，该方法可以模拟在杂乱场景中表现不同风格的行为，通过训练 MoCap 数据可以实现优秀的表现。

    Aug, 2021

  • AMIGOS: 一个个人和团体情感、人格和心情研究的数据集

    AMIGOS 是一个用于个体和群体情感、个性特征和情绪的多模态研究的数据集，包括两个社交场景下的短视频和长视频，利用 EEG、ECG 和 GSR 等生理信号记录参与者的多模态情感响应，可以进行不同维度的相关性分析和分类。

    Feb, 2017

  • SEWA DB：一份用于情感与情绪生动研究的丰富音视频数据库

    SEWA 数据库提供了超过 2000 分钟的语音和视觉数据，包括来自六种文化、年龄在 18 至 65 岁之间的 398 人。此外，数据库还提供了基于面部和语音特征的多项标注，如面部标记、面部行动单元（FAU）、各种音频反应等等。这是情感计算领域非常有价值的研究资源，相信会推动自然人机交互、自动人体感知、人类行为分析等研究领域的进一步发展。

    Jan, 2019

  • JRDB-Social：一个用于理解社交群体内人际互动的多方面机器人数据集

    通过引入 JRDB-Social 数据集，本研究利用最新的多模态大语言模型来评估其解读社会人类行为能力，以加深我们对于人类社会动态在机器人应用中的理解。

    Apr, 2024

  • Speech2UnifiedExpressions: 从可负担的输入同步合成言语情感表情、面部表情和身体表情

    使用 RGB 视频数据，我们提出了一种基于多模态学习的方法，可以同时合成数字角色的共语言面部表情和上半身动作。我们的方法从视频数据直接估计稀疏的面部关键点和上半身关节，并根据说话者的面部动作和身体关节动作合成合适的情感角色动作。通过对多个评估指标进行全面定量和定性实验证明，我们的方法具有低重建误差，能够为数字角色产生多样化的面部表情和身体动作。

    Jun, 2024