Jan, 2024

提升家庭环境安全与福祉的综合多模态数据集

PDF
TL;DR本研究提供了一个合成的多模态数据集，通过融合来自 3D 虚拟空间模拟器的视频数据与描绘活动时空上下文的知识图谱，该数据集旨在用于社会问题的知识图谱推理挑战（KGRC4SI），重点是识别和解决家庭环境中的危险情况，该数据集对于研究人员和从业者开发创新解决方案，以识别人类行为以提升安全和福祉而言，可作为宝贵的资源对公众开放。
发现论文，激发创造
  • 使用虚拟空间合成日常活动的事件中心知识图谱

    提出 VirtualHome2KG 框架，在虚拟空间中生成日常生活活动的合成知识图，以分析上下文感知数据并发展传统上由于相关数据和语义信息不足而难以开发的各种应用。

    Jul, 2023

  • Syn-Mediverse: 医疗设施智能场景理解的多模态合成数据集

    通过建立综合医疗设施的超逼真多模态合成数据集，揭示了下一代自主医疗机器人在感知和理解复杂的环境方面的能力，并提供了一个在线评估基准，旨在进一步推动对医疗设施场景理解的研究。

    Aug, 2023

  • WEAR：可穿戴设备和自我中心视角视频活动识别的多模态数据集

    本文介绍了一个用于人类活动识别的多模态基准数据集 WEAR，其中包括了视觉和可穿戴设备的数据，有效地提高了各种算法的性能表现。此外，我们还展示了基于 Transformer 的视频动作检测模型在惯性和多模态人类活动识别方面的可行性，这是第一次使用此方法进行探索。

    Apr, 2023

  • InteriorNet: 大规模多传感器照片真实室内场景数据集

    本研究提供了一份可扩展性强、真实感更强、规模更大、变异性更强、且在训练和评估深度学习方法、基准测试同时定位和映射（SLAM）方面有更广泛用途的数据集，以支持计算机视觉领域的研究。我们使用数百万个专业室内设计和制作级家具资产进行高分辨率和高帧率视频序列渲染，并支持各种摄像头类型以及惯性测量。同时，我们展示了稀疏和密集 SLAM 算法的基准测试结果。

    Sep, 2018

  • HoME：家庭多模态环境

    介绍了 HoME：一个家庭多模态环境，其中包含超过 45,000 种基于 SUNCG 数据集的多样化 3D 房屋布局，可用于增强学习、语言链接、声音导航、机器人、多代理学习等任务，旨在实现人类学习的交互式、多模态和丰富情境化环境。

    Nov, 2017

  • 多模态 Fisher 向量的自我中心活动识别

    本文介绍了一个基于 Wearable 设备的多模态自我中心活动识别数据集，其中提出了一种从传感器数据中提取时空轨迹特征的新颖策略，并应用 Fisher Kernel 框架融合视频和时空增强的传感器特征，实验结果表明，精心设计的特征提取和融合算法可以提高信息丰富的视频数据的质量。

    Jan, 2016

  • 使用人类动作构建视频语言数据集进行多模态逻辑推理

    介绍了一个新的包含人类行为的视频和语言数据集，该数据集专注于描述动态人类动作的故事意图和局限性表达式，该数据集预计对评估包括否定和量化在内的复杂语句与视频之间的多模态推理系统非常有用。

    Jun, 2021

  • 通过合成任务数据评估多模态推理模型的能力

    该论文通过高分辨率的文本图像生成技术，开发了一种针对多模态推理任务的评估数据生成框架，并使用此框架生成了一种复杂且缺乏数据集支持的任务的合成数据集，以进行性能测试。研究发现，在这项任务上，最先进的视觉问答模型的性能明显低于标准 VQA 任务。

    Jun, 2023

  • EDEN: 封闭式花园场景的多模态合成数据集

    为了促进机器学习方法在农业和园艺等自然应用领域的发展，我们提出了多模式合成的封闭花园场景数据集（EDEN），该数据集包括来自 100 多个花园模型的超过 300K 张图像，并注释了各种低 / 高级别视觉模态，包括语义分割、深度、表面法线、内在颜色和光流，实验结果表明，我们的数据集的深度网络预训练对于计算机视觉中的两个重要任务（语义分割和单眼深度预测）具有积极的影响。

    Nov, 2020

  • SK-VQA：用于训练上下文增强的多模态 LLM 的大规模合成知识生成

    我们生成了一个包含超过 200 万个问题 - 答案对的大型综合多模态数据集 SK-VQA，该数据集需要外部知识来确定最终答案。通过广泛的实验，我们证明我们的合成数据集不仅可以作为一个具有挑战性的基准测试，而且对于调整现有的生成性多模态模型以进行上下文增强生成也非常有效。

    Jun, 2024