Jun, 2020

重塑自我中心视角

PDF
TL;DR本文介绍了拓展视角中最大数据集 EPIC-KITCHENS 的一种方法，推出了 EPIC-KITCHENS-100，其中使用头戴式相机记录了 45 个环境中长期非剧本活动的 100 小时、2000 万帧、90,000 个动作，在 fine-grained actions、action detection、action recognition、unsupervised domain adaptation、cross-modal retrieval 等领域提供了新的挑战与评估。
epic-kitchens-100fine-grained actionsaction detectionaction recognitionunsupervised domain adaptation
发现论文，激发创造
  • 扩展自我视觉：EPIC-KITCHENS 数据集

    本文介绍了 EPIC-KITCHENS 数据库，它是一个大规模的第一人称视角视频数据库，其中包含了来自 32 个参与者的 55 小时视频，多样性与大规模性深度融合，视频被密集标记为总共 39.6K 个动作段和 454.3K 个物体边界框，并且注释与真实意图紧密相关，该数据库可用于第一人称视角视频领域的挑战评估和研究。

    Apr, 2018

  • EPIC-KITCHENS 数据集：收集、挑战和基准

    本文介绍了 EPIC-KITCHENS 数据集的构建，该数据集具有大规模、种类多样的人们在厨房的日常行为记录，并且由多名来自不同国籍的参与者拍摄，其中所有视频都进行了密集注释和真实意图的讲述，并使用了多模态建模等基础线和新基础线进行了评估。

    Apr, 2020

  • 面向 EPIC-KITCHENS-100 动作识别的视频视觉 Transformer 训练

    本文介绍了一种训练更强大的视频视觉变换器的经验结果，使用了诸如增强、分辨率和初始化等技术，并在 EPIC-KITCHENS-100 数据集上进行了探索，单个 ViViT 模型在验证集上取得了 47.4% 的性能，超过原始文献报告的 3.4%。

    Jun, 2021

  • 自我中心动作检测的更强基线

    本研究介绍了一种针对 2021 EPIC-KITCHENS-100 竞赛中的自我中心视频动作检测方法，其主要采用滑动窗口策略生成建议，以较高的效率提高任务的检测性能。通过简单地采用这些策略，我们使用单个模型在测试集上达到了 16.10％的性能，相对于基线方法平均 mAP 提高了 11.7％。

    Jun, 2021

  • 针对 EPIC-Kitchens 的行为识别模型评估

    本文介绍了基于 EPIC-Kitchens 数据集的行动识别模型，比较了不同模型在具有长尾类分布、测试集中未见过环境和多任务等挑战下的表现，并探讨了模型的缺点和未来研究的方向。

    Aug, 2019

  • EPIC Fields: 结合 3D 几何和视频理解

    介绍了一个名为 EPIC Fields 的神经渲染数据集，能够通过附加 3D 相机信息，为图像和视频理解提供更好的数据和基准，同时提供了两个神经渲染和分割动态对象的基准任务。

    Jun, 2023

  • 统一几个与零个拍摄的自我中心动作识别

    本文通过将 few-shot generalization 和 zero-shot generalization 相结合，并在传统的直接对齐基线上添加度量学习损失，探索了面向 open-set 分类的通用化方法，并在基于 EPIC-KITCHENS 数据集的新分裂的基础上进行了评估，结果表明这种方法可以提高零样本分类的准确性高达 10％，同时不损失 few-shot 性能。

    May, 2020

  • EPIC-KITCHENS VISOR Benchmark：视频分割和物体关系

    本文介绍了 VISOR 数据集，它是一个像素注释的新数据集，也是用于在自我中心视频中分割手和活动对象的基准套件。VISOR 主要应对了从 EPIC-KITCHENS 视频中的新挑战，并引入了一个 AI 动力注释流程，以获得像素级注释的一致性。该数据集总共公开了 272K 带标注的语义掩模，9.9M 插值稠密掩模，67K 手 - 物体关系，并涵盖 36 小时的 179 个未修剪的视频。此外，我们还介绍了三项有关视频对象分割，交互理解和长期推理的挑战。

    Sep, 2022

  • 2022 行动识别无监督领域自适应挑战赛: HNU-FPV 队技术报告

    本研究介绍了一种利用信息图像区域来实现有效领域对齐的方法，并在 2022 EPIC-Kitchens 无监督领域适应（UDA）挑战中取得了第四名的成绩。该方法使用轻量级 CNN 提取输入双流视频帧的全局信息，并通过 One Shot 内容选择方法选择有信息量的图像块来进行特征对齐。

    Jul, 2022

  • 在 EPIC-Kitchens 数据集中进行序列驱动时间采样和自我运动补偿的行为识别前瞻性研究

    本研究旨在通过估算自我运动或相机运动来应对大数据下的运动捕捉，并使用经过端到端训练的 CNN 提取来自动作的整个时间范围的特征，从而扩大网络的时间感知领域。

    Aug, 2020