Jun, 2018

基于视角自我中心的玩具盒数据集

PDF
TL;DR介绍了一个名为 Toybox 的新视频数据集，其中包含家庭常见物品和玩具的自我角度（即第一人称视角）的视频，出现了旋转，平移和缩放的结构转换，并且还提出了神经网络实验以考察不同对象实例和视角分布对识别性能的影响以及在训练网络的隐藏层中如何表示视点相关的对象概念。
object recognitionmulti-view object datasettoyboxneural network experimentsviewpoint-dependent object concepts
发现论文，激发创造
  • 自我监督视觉学习中基于计算的接受者目视着物游戏的解释

    本研究使用玩具箱数据集和计算机视觉框架进行自我监督对比学习实验，发现通过学习信号，将单个物体的不同视角赋予相似的表示有助于视觉学习的稳健性，这种性能的提高对于多种图像分类任务来说是可持续的。

    May, 2023

  • BabyView 数据集：婴儿和幼儿日常经历的高分辨率自我中心视频

    通过首次发布迄今为止最大的发展性自我中心视频数据集，我们提供了一个开放挑战，即如何使这样的系统在与人类相同规模和分布的训练数据上实现人类水平的成功。

    Jun, 2024

  • Ego-Exo：将第三人称视频的视觉表示转移到第一人称视频

    本文提出使用大规模第三人称视频数据集进行预训练的以自我为中心的视频模型方法，通过在第三人称视频中发现预测自我特定属性的潜在信号，并将其作为知识蒸馏损失融入模型预训练中，在精细调节进行自我中心的活动识别时表现出最佳表现，取得 Charades-Ego 和 EPIC-Kitchens-100 的最新成果。

    Apr, 2021

  • 从第三人称到第一人称：综合与检索的数据集与基线模型

    本研究介绍了包含同时录制自我中心和外部中心视频的两个数据集（合成和自然 / 真实），首先使用条件生成对抗网络从外部中心领域合成自我中心领域的图像。 其次，我们解决了跨视图检索问题，并通过从合成域到自然 / 真实域的域适应来提高性能。

    Dec, 2018

  • 自我中心视频任务翻译

    穿戴式摄像头的全息自我视角下，手 - 物体操纵、空间导航和人 - 人交互等视频理解任务是相互关联的，EgoTask Translation (EgoT2) 提出了一种统一的解决方法，采用多任务学习的翻转设计，通过优化多个模型，实现在所有任务上的改进性能。在 Ego4D 视频挑战中，实验表明其优于现有 transfer 范式，并在其中四项挑战中取得了最佳成绩。

    Dec, 2022

  • JRDB：建筑环境下人类自我中心机器人视觉感知数据集及基准

    介绍了 JRDB 数据集，该数据集是从社交机器人 JackRabbot 采集的一系列包括 RGB 视频、点云、音频信号等多模态数据，并标记了超过 230 万个包围框及 3500 个时间连续轨迹，其可用于研究以机器人视角为主的视觉算法、人物探测和自主导航等领域。

    Oct, 2019

  • 逆向工程婴儿自我中心视角的分布结构，以训练可推广的图像分类器

    分析婴儿视角的自我中心视图，研究发现儿童自我中心视图分布比成年人更为多样化，通过计算模拟该分布并证明其有益于培养更广泛的图像分类器。

    Jun, 2021

  • 基于自我中心大规模的微观对象理解数据集

    本文介绍了一个大规模的 egocentric 数据集 EgoObjects，包含着具细粒度目标理解的过程以及对象识别和持续学习等四个基准任务。

    Sep, 2023

  • Exo2EgoDVC：使用网络教育视频进行以自我为中心的程序性活动的密集视频标题生成

    提出了一种用于稠密视频字幕的跨视图知识传递的新型基准，从具有外视图的网页教学视频调整模型以适应内视图领域。

    Nov, 2023

  • 自我中心手与物体的姿态估计中的基准和挑战

    通过分析 3D 手 - 物体重建任务，我们展示了针对以自我为中心相机的畸变、采用高容量转换器来学习复杂的手 - 物体交互以及融合来自不同视角的预测等方法的有效性，并揭示了最新方法难以解决的快速手部运动、窄视角下的物体重建以及两只手和物体之间的近距离接触等具有挑战性的场景。我们的工作将丰富该领域的知识基础，并促进未来关于以自我为中心手 - 物体交互的研究。

    Mar, 2024