Jul, 2022

EPIC-Kitchens动作预测挑战2022的第一名解决方案

HTML
PDF
TL;DR本文介绍我们提交EPIC-Kitchens Action Anticipation Challenge 2022的技术细节，包括利用软标签进行知识蒸馏来引导学生网络学习预测时间信息的Anticipation Time Knowledge Distillation方法，以及利用动词-名词关系模块构建动词和名词之间关系的方法。我们的方法在EPIC-Kitchens Action Anticipation Challenge 2022的测试集中取得了最先进的结果。
发现论文，激发创造
  • 面向教学活动的零射预测

    提出了一种层次化模型，能够从大规模文本库中推广教学知识并将其转化为视觉领域，从而实现对机器人从未见过的活动的零样本预测，并介绍了 Tasty Videos 数据集。

    Dec, 2018

  • 针对 EPIC-Kitchens 的行为识别模型评估

    本文介绍了基于EPIC-Kitchens数据集的行动识别模型，比较了不同模型在具有长尾类分布、测试集中未见过环境和多任务等挑战下的表现，并探讨了模型的缺点和未来研究的方向。

    Aug, 2019

  • EPIC-KITCHENS 数据集：收集、挑战和基准

    本文介绍了 EPIC-KITCHENS 数据集的构建，该数据集具有大规模、种类多样的人们在厨房的日常行为记录，并且由多名来自不同国籍的参与者拍摄，其中所有视频都进行了密集注释和真实意图的讲述，并使用了多模态建模等基础线和新基础线进行了评估。

    Apr, 2020

  • 通过对抽象目标的建模预测下一步行动

    使用可变循环网络，结合视觉表示来提取目标信息，设计了一种抽象目标，用于减少人类行为预测中的不确定性，实验结果在多个数据集上达到了最新的最佳表现。

    Sep, 2022

  • 基于文本的知识助力视觉：视频行为预测的简单跨模态蒸馏

    本研究将预训练语言模型中的知识转移应用于视觉模型中，以提高动作预测的效果，实验表明简单的蒸馏技术可以在两个动作预测数据集上实现一定的相对增益。

    Oct, 2022

  • 2023 Ego4D长期行动预测挑战技术报告

    本报告描述了我们在Ego4D長期動作預測挑战赛2023中的技术细节，我们引入了三个改进，包括SlowFast和SlowFast-CLIP模型的集合，放松未来动作的顺序限制，以及基于词共现的操作类（动词、名词）的预测，优化了基线性能，取得了公共排行榜的第二名。

    Jul, 2023

  • EPIC-KITCHENS-100无监督领域自适应挑战：混合序列预测

    通过使用无监督领域适应技术，结合伪标签策略和序列信息过滤模型，这篇研究论文介绍了一种在EPIC-Kitchens-100数据集上实现动作识别的方法，取得了在动词和名词上的优异结果。

    Jul, 2023

  • AntGPT：大型语言模型能否帮助从视频中进行长期动作预测？

    通过利用大型语言模型，我们提出了一种用于长期动作预测的两阶段框架AntGPT，能够在人机交互中对未来行为进行准确预测，并且取得了最新的研究成果。

    Jul, 2023

  • GePSAn：烹饪视频中的生成式步骤预测

    未来步骤预测问题的核心挑战是如何考虑自然场景中多种可能性的未来实现，该论文通过建立一个生成模型来拟合可能的下一步候选结果的分布，从而解决此问题。

    Oct, 2023

  • 从识别到预测：利用序列推理进行动作预判

    本研究解决了动作预判任务中有效建模不同动作之间统计关系的不足。提出了一种新的端到端视频建模架构ARR，通过将任务分解为动作识别和序列推理来学习这些关系，并采用无监督预训练方法提升网络的推理能力。实验结果证明了该方法在多个数据集上的有效性，具有良好的应用前景。

    Aug, 2024