介绍了一个名为 COIN 的大规模数据集，包含了 180 个任务的 11,827 个视频，使用层次结构进行组织，并用新开发的工具包有效注释了所有视频的一系列步骤描述和相应的时间边界，提出了一种简单但有效的方法，用于捕捉不同步骤之间的依赖关系，并可轻松插入传统的基于提议的动作检测方法中，以定位指导性视频中的重要步骤，并在不同的评估标准下在 COIN 数据集上评估了大量方法，以提供指导性视频分析的基准，旨在促进社区对指导性视频分析的未来深入研究。

Mar, 2019

为了解决互联网教学视频缺乏任务层面经验指导的问题，提出 GUIDE 数据集，其中包含 3.5K 个相关任务的 560 个指南，用于评估模型的理解能力，包括步骤字幕生成、指南摘要和指南引导字幕生成等三个子任务。

Jun, 2024

通过连续指令调整（CoIN）对多模态大型语言模型（MLLMs）进行评估，发现当前强大的 MLLMs 仍然存在灾难性遗忘，并提出了 MoELoRA 方法有效地保留了以前的指令对齐。

Mar, 2024

提出了一种新的基于教学视频的问题回答任务，并介绍了一个包含约 6000 个三元组的数据集（视频，问题，回答跨度），并使用几个基准算法对其进行了实验，从而得出该任务的挑战性并呼吁探索新算法。

Dec, 2019

研究利用大量网络教学视频和其解说学习视频表示方法，以编码动作步骤及其时间排序，推动步骤分类和预测等领域的发展。通过深度概率模型同时学习视频表示和时间依赖关系，且在 COIN 和 EPIC-Kitchens 等数据集上，具有比同类研究更明显的提升。同时，该研究对于不完整步骤的步骤推测也有良好的表现。

Mar, 2023

本文介绍了一个新的任务 —— 视频与语言推理，用于联合多模态理解视频和文本，提出了一个名为 “Violin” 的大规模数据集并对其进行了分析，并对该任务进行了广泛评估。

Mar, 2020

本文介绍了一种新的学习方法，MIL-NCE, 用于从讲述视频中学习强大的视频表示，并能够在不需要手动注释的情况下进行。该方法通过对齐不对称的讲述视频，有效地学习了视频表示。作者在 HMDB-51、UCF-101、Kinetics-700 等多个数据集上进行了评估，证明了该方法优于已发表的自监督方法和多个全监督基准线的表现。

Dec, 2019

本文介绍了在视频学习中生成元信息的困难性，提出了一种基于时间戳注释的新数据集 Video Timeline Tags（ViTT）以及采用多模态序列预训练策略来预训练和微调密集视频字幕模型，证明了该模型可以很好地泛化和适用于各种各样的教学视频。

Nov, 2020

本文介绍了一个新的水下移动摄像机单拍摄视频的数据集 ——Marine Video Kit dataset，该数据集挑战了特定领域的新强大模型，并公开了一些低水平特征以及一些视觉关键帧的语义注释。此外，本文也包含了基于大量元数据和统计学的分析，以及关于通用模型检索的局限性实验的研究。

Sep, 2022

本文提出一种基于非监督学习的方法，通过集合指导语音和视频，可以自动地学习完成某项任务的主要步骤，例如更换汽车轮胎。通过应用两个聚类问题，同时解决文本和视频中的信息，使它们连接在一起，得出在两种情况下都具有一致性的主要步骤。本文提出的方法可以自动地在输入视频中发现和定位处于任务中的主要步骤。作者还采集和注解了一个包含旨在模拟真实场景的任务的挑战数据集。

Jun, 2015