提出了一种新的基于教学视频的问题回答任务，并介绍了一个包含约 6000 个三元组的数据集（视频，问题，回答跨度），并使用几个基准算法对其进行了实验，从而得出该任务的挑战性并呼吁探索新算法。

Dec, 2019

通过利用现有步骤注释和配套叙述，我们提出了一种方法，首先自动生成大量涉及来自 HowTo100M 的视频对的视觉指导调优数据，然后训练一个视频修饰的语言模型以联合推理多个原始视频，以识别视频对之间的差异并根据这些差异的严重程度对视频进行排名，显示出在多个视频上进行一般推理的有希望能力。

Apr, 2024

这篇论文介绍了一个名为 'COIN' 的大规模视频数据集，包含了 180 个任务的 11,827 个视频，并提供了一种新的工具箱进行视频的标注和步骤划分，同时开发了两种效果良好的方法来定位重要的步骤，这将有助于进一步研究视频分析领域。

Mar, 2020

本文提出一种基于非监督学习的方法，通过集合指导语音和视频，可以自动地学习完成某项任务的主要步骤，例如更换汽车轮胎。通过应用两个聚类问题，同时解决文本和视频中的信息，使它们连接在一起，得出在两种情况下都具有一致性的主要步骤。本文提出的方法可以自动地在输入视频中发现和定位处于任务中的主要步骤。作者还采集和注解了一个包含旨在模拟真实场景的任务的挑战数据集。

Jun, 2015

介绍了一个名为 COIN 的大规模数据集，包含了 180 个任务的 11,827 个视频，使用层次结构进行组织，并用新开发的工具包有效注释了所有视频的一系列步骤描述和相应的时间边界，提出了一种简单但有效的方法，用于捕捉不同步骤之间的依赖关系，并可轻松插入传统的基于提议的动作检测方法中，以定位指导性视频中的重要步骤，并在不同的评估标准下在 COIN 数据集上评估了大量方法，以提供指导性视频分析的基准，旨在促进社区对指导性视频分析的未来深入研究。

Mar, 2019

本论文介绍了一种新的预训练视频模型，VideoTaskformer，利用遮盖步骤建立弱监督学习任务，学习全局步骤表示，实现对多步骤任务的表示和预测。同时提出了两个新的基准测试来检测指令视频中的错误步骤和步骤执行顺序，以及一项长期预测基准测试，均取得了优于现有基线的性能，适用于评估全球学习的步骤表示质量。

Mar, 2023

本文提出了一种无需手动监督的方法来将『如何做』视频中的步骤与 wikiHow 等语言知识库中的指导文章进行对齐，并采用多模态对齐进行全局时间定位，验证结果表明与现有方法相比具有明显优势。

Jun, 2023

本文提出了从烹饪视频中提取结构化过程知识的基准测试，研究了现有模式的性能。

May, 2020

研究利用大量网络教学视频和其解说学习视频表示方法，以编码动作步骤及其时间排序，推动步骤分类和预测等领域的发展。通过深度概率模型同时学习视频表示和时间依赖关系，且在 COIN 和 EPIC-Kitchens 等数据集上，具有比同类研究更明显的提升。同时，该研究对于不完整步骤的步骤推测也有良好的表现。

Mar, 2023

本文探讨了生成真实世界活动任务图的问题，提出了一种无监督的任务图生成方法，结合语言模型的推理能力、聚类和排名组件，比 ProceL 和 CrossTask 数据集中的有监督学习方法生成更准确的任务图。

Feb, 2023