ICMLDec, 2023

CaptainCook4D：过程活动错误理解数据集

PDF
TL;DR我们收集了一个全新的心理 4D 数据集 CaptainCook4D，包含了 384 个人在真实厨房环境中表演食谱的记录（共 94.5 小时），该数据集包含两种不同类型的活动：一种是参与者按照提供的食谱指示进行，另一种是参与者偏离指示并引发错误，我们提供了 5.3K 个步骤注释和 10K 个精细动作注释，并对该数据集进行了监督错误识别、多步本地化和程序学习的基准测试。
发现论文，激发创造
  • 利用远程监督学习识别过程性活动

    本文研究了从长达数分钟的视频中识别精细、多步骤活动的问题，通过远程监督的语言模型方法，基于 wikiHow 的文本数据库自动标注视频中的步骤，并在识别过程中考虑了它们的时间依赖性，实现了较高的泛化性能。

    Jan, 2022

  • 可微分任务图学习：程序化活动表示和基于自我感知视频的在线错误检测

    通过最大似然优化边权重的方法，从动作序列中预测任务图，与之前的方法相比提高了 16.7% 的准确性；同时可通过文本或视频嵌入来预测任务图，并在程序性自我中心视频中显著提高在线错误检测的准确性，分别在 Assembly101 和 EPIC-Tent 数据集上获得了 19.8% 和 7.5% 的显著增益。

    Jun, 2024

  • IndustReal：一个用于处理工业环境中以自身为中心的视频中的过程步骤识别和执行错误的数据集

    该研究提出了一种新的任务，即过程步骤识别（PSR），旨在识别程序步骤的正确完成和顺序。研究还介绍了多模态数据集 IndustReal，该数据集包含程序错误和执行错误，并提供用于行动识别和装配状态检测的注释和基准性能。

    Oct, 2023

  • Assembly101: 一个用于理解程序活动的大规模多视角视频数据集

    Assembly101 是一个新的过程性活动数据集，包含 4321 个视频，演示了人们组装和拆卸 101 个 “拆卸” 玩具车辆，并进行了注释以进行识别，预测和时间分割。 此外，他们还提出了一个新的错误检测任务。

    Mar, 2022

  • PizzaCommonSense: 学习对烹饪食谱的中间步骤进行常识推理

    基于 T5 和 GPT-3.5 的基线模型，该研究论文介绍了具有中间步骤描述的烹饪食谱语料库，以有效地理解和推理烹饪食谱中的输入和输出，从而为智能推理和程序文本生成提供了有关常识推理的挑战性任务和见解。

    Jan, 2024

  • 从烹饪视频中提取结构化程序化知识的基准

    本文提出了从烹饪视频中提取结构化过程知识的基准测试，研究了现有模式的性能。

    May, 2020

  • 在教学视频中基于视频图像挖掘的按键识别

    我们提出从视频中自动发现任务图表示人们如何执行关键步骤的概率，并利用该图来规范化新视频中的关键步骤识别，从而在多个真实世界教学视频数据集上展示了影响：更可靠的零样本关键步骤定位和改进的视频表示学习，超越了现有技术水平。

    Jul, 2023

  • 扩展自我视觉：EPIC-KITCHENS 数据集

    本文介绍了 EPIC-KITCHENS 数据库，它是一个大规模的第一人称视角视频数据库，其中包含了来自 32 个参与者的 55 小时视频，多样性与大规模性深度融合，视频被密集标记为总共 39.6K 个动作段和 454.3K 个物体边界框，并且注释与真实意图紧密相关，该数据库可用于第一人称视角视频领域的挑战评估和研究。

    Apr, 2018

  • CookDial: 一个基于过程文档的任务导向对话数据集

    本研究提供了一个新的对话数据集 CookDial，该数据集在任务导向的对话系统中将过程知识理解与复杂代理决策相结合。为了应对任务导向的对话系统中的三个挑战性子任务，并针对每个任务开发了一个神经基准模型，并在 CookDial 数据集上进行了评估。

    Jun, 2022

  • 我视角最优：从自我中心视频中学习的过程

    本文提出了一种使用基于第一人称视角拍摄的视频学习过程的框架，该框架可以在多个视频之间识别和利用关键步骤之间的时间对应关系，从而对过程进行学习。通过对两个基准数据集的实验，证明这一框架的性能优于现有的同类方法。此外，本文还提出了一个用于使用第一人称视角拍摄的视频进行过程学习的数据集。

    Jul, 2022