Jan, 2024

VRMN-bD: VR 站立互动游戏中沉浸式人类恐惧反应的多模态自然行为数据集

PDF
TL;DR使用虚拟现实环境和 VR 恐怖游戏作为媒介，通过收集来自 23 位玩家的多模态数据，利用基于 LSTM 模型预测恐惧情绪，其中 6 级分类准确度为 65.31％，2 级分类准确度为 90.47％，并构建了一个多模态自然行为数据集 VRMN-bD，用于 VR 站立交互环境中的恐惧和行为研究，研究结果表明该数据集在收集方法、数据规模和受众范围方面具有较少限制。
发现论文，激发创造
  • 头戴式耳机：部分遮挡的多模感知人类情感数据集

    我们提出了一个新的多模态数据库来帮助推进沉浸技术的发展，该数据库提供了符合道德规范并且多样化的体积数据，可以支持面部表情识别等扩展现实算法的评估和性能测试。

    Feb, 2024

  • 虚拟现实游戏中的面部情感识别

    使用卷积神经网络在遮住眼睛和眉毛的全脸图像中准确识别七种不同的情绪，通过对虚拟现实游戏中玩家情感数据的收集与分析，提高游戏玩法分析，帮助游戏开发者创建更具吸引力和沉浸感的游戏体验。

    Dec, 2023

  • 基于多模式深度学习的图像识别技术研究

    利用深度神经网络研究了人类多模态行为识别算法，通过整合不同的深度神经网络对不同模态的视频信息进行适应以成功识别多个模态的行为，利用微软 Kinect 开发的多个摄像头采集传统图像并提取运动特征，将两种方法识别出的行为特征综合起来以实现行为的准确识别与分类，实验结果表明该算法在识别行为和检测视频素材中的行人行为的准确度上有显著提升。

    May, 2024

  • 隐私增强的多模态神经表征用于情感识别

    本研究回顾了移动应用程序和虚拟对话代理器识别和适应情绪的方法，讨论了隐私问题。我们研究了基于主要任务（情感识别）进行训练的多模态表征如何意外地泄露一些敏感信息，分析了情感识别中的隐私度量，并在多个数据集上进行了验证。我们使用对抗学习范式来消除表征中的隐私信息，以及如何在不影响主要任务表现的情况下改善隐私度量。本研究是第一次分析不同模态的隐私指标差异以及如何在仍然维持情感识别表现的情况下解决多个隐私问题。

    Oct, 2019

  • 阅读我的思维：一个用于人类信念预测的多模态数据集

    为了促进人工智能系统推断人类意图的能力的发展和评估，我们推出了一个基于物体 - 语境关系的大规模多模态视频数据集，用于意图预测，旨在实现在协作环境中具有有效和高效的人机交互。

    Mar, 2023

  • HUMAN4D: 一个以人为中心的多模态动作与沉浸式媒体数据集

    HUMAN4D 是一种多模态体积数据集，提供了关于人类日常、物理和社交活动的各种姿势和动作的数据，同时提供多 RGBD、音频和音量数据。该数据集的介绍旨在推动计算机视觉和图形研究社区对空间和时间对齐的姿势、音量、mRGBD 和音频数据线索的联合研究，同时提供了人类姿势估计和三维压缩等方面的评估基线。

    Oct, 2021

  • 一个带有阅读理解的大型跨模态视频检索数据集

    提出了一种新的跨模态视频检索数据集 TextVR，它包含了八个场景领域的 10.5k 个视频和 42.2k 个查询语句，并介绍了一种统一的跨模态模型，有效地将文本和视觉语义信息融合来实现视频检索任务。该数据集和我们提出的跨模态检索方法为视频和语言研究领域提供了许多新的技术挑战和洞见。

    May, 2023

  • MVHumanNet: 一个大规模的多视图日常穿着人类捕捉数据集

    该研究论文介绍了一个名为 MVHumanNet 的大规模 3D 人体数据集，其中包含 4500 个人的多视角行动序列，以及 9000 个日常服装、60000 个运动序列和 6.45 亿帧的详细注释，通过该数据集的使用，进行了多个 2D 和 3D 视觉任务的实验，展示了性能的提升和有效应用的可能性。

    Dec, 2023

  • 医疗虚拟现实培训模拟器中的动态时间序列分类评分和评估

    本研究提出并评估了用于虚拟现实（VR）培训模拟器的评分和评估方法。借助动态时间规整多元原型（DTW-MP）分类算法，本研究分析了 271 名医学生的 VR 训练数据，提高了专家级数据的可用性。通过运动分析，可以检测出个人使用的不同技术并动态检测错误，从而提高连续性和防止受伤。

    Jun, 2020

  • VR.net：虚拟现实运动晕眩研究的真实世界数据集

    该研究使用机器学习技术识别了虚拟现实（VR）中的晕动症，提出了 VR.net 数据集以便进行风险因素检测和病情预测。

    Jun, 2023