CVPRApr, 2024

PREGO：PRocedural EGOcentric 视频中的在线错误检测

PDF
TL;DR通过在线的一类分类模型 PREGO 在过程自我中心视频中检测错误，从而准确识别程序性错误，该模型基于在线动作识别和符号推理模块实现错误检测。
procedural errorsegocentric videosonline one-class classifiersmistake detectionprego
发现论文，激发创造
  • 可微分任务图学习：程序化活动表示和基于自我感知视频的在线错误检测

    通过最大似然优化边权重的方法，从动作序列中预测任务图，与之前的方法相比提高了 16.7% 的准确性；同时可通过文本或视频嵌入来预测任务图，并在程序性自我中心视频中显著提高在线错误检测的准确性，分别在 Assembly101 和 EPIC-Tent 数据集上获得了 19.8% 和 7.5% 的显著增益。

    Jun, 2024

  • 我视角最优：从自我中心视频中学习的过程

    本文提出了一种使用基于第一人称视角拍摄的视频学习过程的框架，该框架可以在多个视频之间识别和利用关键步骤之间的时间对应关系，从而对过程进行学习。通过对两个基准数据集的实验，证明这一框架的性能优于现有的同类方法。此外，本文还提出了一个用于使用第一人称视角拍摄的视频进行过程学习的数据集。

    Jul, 2022

  • 睁大眼睛：通过检测不可预测注视实现自心视角视频中的无监督错误检测

    本研究提出了一种无监督的方法，通过分析用户视线信号来检测机载视频中的错误，提升智能眼镜中的用户辅助功能，并通过分析异常视线模式预测眼睛视线轨迹以识别错误，该方法在 EPIC-Tent 数据集上验证了其在一类监督和无监督技术上的优越性。

    Jun, 2024

  • 物体感知的自我中心在线动作检测

    通过整合特定于自我中心视频的先验知识到现有的在线行动检测框架中，我们引入了一个物体感知模块，以提高第一人称视频解释的场景理解和行动检测性能。

    Jun, 2024

  • 逐步思考：机器人手术视频中错误检测的连续手势提示

    本论文提出了一种新颖的实时端到端错误检测框架，称为 Chain-of-Thought (COG) prompting，利用手术视频中的上下文信息来提高机器人辅助微创手术的安全性和效果。通过使用 transformer、attention 和多阶段时序卷积网络等方法，该方法在公共基准 RMIS 数据集 JIGSAWS 上优于目前最先进方法的 F1 分数、准确率和 Jaccard 指数，并且平均每帧处理时间为 6.69 毫秒。

    Jun, 2024

  • IndustReal：一个用于处理工业环境中以自身为中心的视频中的过程步骤识别和执行错误的数据集

    该研究提出了一种新的任务，即过程步骤识别（PSR），旨在识别程序步骤的正确完成和顺序。研究还介绍了多模态数据集 IndustReal，该数据集包含程序错误和执行错误，并提供用于行动识别和装配状态检测的注释和基准性能。

    Oct, 2023

  • 利用远程监督学习识别过程性活动

    本文研究了从长达数分钟的视频中识别精细、多步骤活动的问题，通过远程监督的语言模型方法，基于 wikiHow 的文本数据库自动标注视频中的步骤，并在识别过程中考虑了它们的时间依赖性，实现了较高的泛化性能。

    Jan, 2022

  • RODEO：在线目标检测回放

    本文研究了视觉检测任务的增量学习，通过一种在线流式学习的方法，使用一种新颖的记忆重放机制，使系统可以在时间上逐步引入新类别来完成物体检测任务，并在 Pascal VOC 2007 和 MS COCO 数据集上取得了最好的实验结果。

    Aug, 2020

  • 从网络教学视频中实现自动学习程序

    本文提出了使用长视频分类和描述学习人类共识过程结构的方法，利用 YouCook2 数据集和基于段的递归网络生成过程段。该方法可用于向其他任务提供预处理，如密集视频字幕和事件解析，并在过程分割中优于竞争基线。

    Mar, 2017

  • EgoSurgery-Phase：开放式手术视频中手术阶段识别的数据集

    为解决开放手术阶段识别研究的不足，该研究提出了一种基于眼球凝视的遮蔽自编码器（GGMAE）方法，并介绍了一个名为 EgoSurgery-Phase 的新的视角手术视频数据集，有效提高了开放手术阶段识别的准确性。

    May, 2024