Feb, 2024

Aria 日常活动数据集

PDF
TL;DRAria Everyday Activities (AEA) Dataset 是一个多模态的开放式数据集，记录了由多个佩戴者在五个不同地理位置的室内场景中进行的 143 个日常活动序列。该数据集通过 Project Aria 眼镜记录了多模态传感器数据，并提供了机器感知数据，包括高频全局对齐的 3D 轨迹、场景点云、每帧的 3D 凝视向量和时间对齐的语音转录。本文还展示了该数据集支持的一些示例研究应用，包括神经场景重建和提示分割。AEA 是一个开源数据集，可从 projectaria.com 下载，并提供了 Project Aria 工具的开源实现和示例。
aria everyday activities (aea) datasetegocentric multimodal open datasetmultimodal sensor dataneural scene reconstructionprompted segmentation
发现论文，激发创造
  • 项目 Aria: 一种新的自我中心多模态 AI 研究工具

    我们在 Meta Reality Labs Research 团队构建了 Aria 设备，该设备是一种自我为中心的多模态数据记录和传输设备，旨在促进和加速这一领域的研究。本文描述了 Aria 设备的硬件，包括其传感器配置和相应的软件工具，以实现此类数据的记录和处理。

    Aug, 2023

  • Aria 数字孪生：自我中心三维机器感知新基准数据集

    介绍了使用 Aria 眼镜捕获的以自我为中心的数据集，其中包含许多对象，环境和人类级别的地面真实性。它对于活动监测和增强现实等研究问题具有重要作用，并对物体检测、人体姿态预测等开展了一些有益尝试。

    Jun, 2023

  • EasyCom：噪声环境下支持易于交流算法的增强现实数据集

    本文发现，缺少可用于训练和测试信号处理和机器学习算法的具有代表性的数据集，介绍并放出了一个包含超过 5 小时多模态数据的数据集，以便建立多模态 AR 方案以减少鸡尾酒会效应。

    Jul, 2021

  • Aria-NeRF：多模态自我中心视图合成

    我们通过可微分的体积光线追踪，借鉴神经辐射场（NeRF）的思想，试图加快从自我中心数据中开发富有多模态场景模型的研究。我们提供了一个全面的多模态自我中心视频数据集，用于支持和促进自我中心多模态场景建模的发展和评估。

    Nov, 2023

  • MEVA: 大规模多视角、多模态视频数据集用于活动检测

    我们提出了一个新的，特别大规模的数据集，名为 MEVA，用于人类活动识别，其中包括 144 小时的标注，42 小时的无人机素材，以及由多种室内和室外视角观察到 38 个 RGB 和热红外相机。

    Dec, 2020

  • WEAR：可穿戴设备和自我中心视角视频活动识别的多模态数据集

    本文介绍了一个用于人类活动识别的多模态基准数据集 WEAR，其中包括了视觉和可穿戴设备的数据，有效地提高了各种算法的性能表现。此外，我们还展示了基于 Transformer 的视频动作检测模型在惯性和多模态人类活动识别方面的可行性，这是第一次使用此方法进行探索。

    Apr, 2023

  • EARS: 一个用于语音增强和去混响的各向同性全频通话语音数据集的基准测试

    发布了 EARS（Expressive Anechoic Recordings of Speech）数据集，包含来自不同背景的 107 位说话者，总计 100 小时的干净、无混响的语音数据。数据集涵盖了多种不同的讲话风格，包括情感性语音、不同的阅读风格、非语言声音和自由对话式语音。通过一组仪器度量评估了数据集上的各种语音增强和去混响方法，并对语音增强任务进行了 20 个参与者的听力测试，优选了一种生成方法。此外，我们还引入了一个盲测试集，用于自动在线评估上传数据。数据集下载链接和自动评估服务器可以在网上找到。

    Jun, 2024

  • ETRI-Activity3D：一個大型 RGB-D 數據集，供機器人識別老年人的日常活動使用

    介绍了一个名为 ETRI-Activity3D 的新数据集，关注老年人在机器人监视下的日常活动，同时提出一种名为 FSA-CNN 的新型网络用于处理多模态数据，并在实验证明了其在 NTU RGB+D 和 ETRI-Activity3D 上的优越性。

    Mar, 2020

  • EgoBlur: 负责任的 Aria 创新

    Project Aria 通过使用专门设计的眼镜进行大规模真实世界数据收集，以隐私为先的方法推动了自我中心 AI 的前沿。为了保护被眼镜记录的旁观者的隐私，我们的研究方案旨在确保通过 AI 模糊化模型处理记录的视频，移除旁观者的面部和车牌信息。检测到的人脸和车牌区域通过高斯模糊处理，从而使这些个人身份信息（PII）区域变得模糊不清。这个过程有助于确保用于研究目的的匿名化视频的保留。在 Project Aria 中，我们开发了一种最先进的匿名化系统 EgoBlur。在本文中，我们对 EgoBlur 在具有挑战性的数据集上的性能进行了广泛分析，并与工业界和学术界的其他最先进系统进行了比较，包括最近发布的 Casual Conversations V2 数据集的广泛的负责任 AI 分析。

    Aug, 2023

  • EarDA: 面向准确和数据高效的佩戴式耳机活动感知

    基于领域适应技术的 EarDA 系统，能够从不同传感器位置提取独立于领域的特征，同时采用基于过滤器的数据处理方法来减轻头部运动对活动识别的影响，实现更加高效准确的活动感知，优于无领域适应方法的 43%。

    Jun, 2024