CVPRMar, 2019

COIN: 一份广泛类别教育视频分析的大规模数据集

PDF
TL;DR介绍了一个名为 COIN 的大规模数据集，包含了 180 个任务的 11,827 个视频，使用层次结构进行组织，并用新开发的工具包有效注释了所有视频的一系列步骤描述和相应的时间边界，提出了一种简单但有效的方法，用于捕捉不同步骤之间的依赖关系，并可轻松插入传统的基于提议的动作检测方法中，以定位指导性视频中的重要步骤，并在不同的评估标准下在 COIN 数据集上评估了大量方法，以提供指导性视频分析的基准，旨在促进社区对指导性视频分析的未来深入研究。
instructional video analysiscoin datasetstep descriptionsaction detectionevaluation criteria
发现论文，激发创造
  • 全面的教學視頻分析: COIN 數據集和性能評估

    这篇论文介绍了一个名为 'COIN' 的大规模视频数据集，包含了 180 个任务的 11,827 个视频，并提供了一种新的工具箱进行视频的标注和步骤划分，同时开发了两种效果良好的方法来定位重要的步骤，这将有助于进一步研究视频分析领域。

    Mar, 2020

  • 引导：一份指导性的用于教学视频理解的数据集

    为了解决互联网教学视频缺乏任务层面经验指导的问题，提出 GUIDE 数据集，其中包含 3.5K 个相关任务的 560 个指南，用于评估模型的理解能力，包括步骤字幕生成、指南摘要和指南引导字幕生成等三个子任务。

    Jun, 2024

  • CoIN：一个用于多模型大型语言模型的连续指令调整基准测试

    通过连续指令调整（CoIN）对多模态大型语言模型（MLLMs）进行评估，发现当前强大的 MLLMs 仍然存在灾难性遗忘，并提出了 MoELoRA 方法有效地保留了以前的指令对齐。

    Mar, 2024

  • 教学视频问题回答数据集

    提出了一种新的基于教学视频的问题回答任务，并介绍了一个包含约 6000 个三元组的数据集（视频，问题，回答跨度），并使用几个基准算法对其进行了实验，从而得出该任务的挑战性并呼吁探索新算法。

    Dec, 2019

  • 从说明视频和其叙述中学习过程感知视频表示

    研究利用大量网络教学视频和其解说学习视频表示方法，以编码动作步骤及其时间排序，推动步骤分类和预测等领域的发展。通过深度概率模型同时学习视频表示和时间依赖关系，且在 COIN 和 EPIC-Kitchens 等数据集上，具有比同类研究更明显的提升。同时，该研究对于不完整步骤的步骤推测也有良好的表现。

    Mar, 2023

  • VIOLIN：一个大规模的视频和语言推理数据集

    本文介绍了一个新的任务 —— 视频与语言推理，用于联合多模态理解视频和文本，提出了一个名为 “Violin” 的大规模数据集并对其进行了分析，并对该任务进行了广泛评估。

    Mar, 2020

  • 使用叙述指令视频进行无监督学习

    本文提出一种基于非监督学习的方法，通过集合指导语音和视频，可以自动地学习完成某项任务的主要步骤，例如更换汽车轮胎。通过应用两个聚类问题，同时解决文本和视频中的信息，使它们连接在一起，得出在两种情况下都具有一致性的主要步骤。本文提出的方法可以自动地在输入视频中发现和定位处于任务中的主要步骤。作者还采集和注解了一个包含旨在模拟真实场景的任务的挑战数据集。

    Jun, 2015

  • 从未经筛选的教育视频中的视觉表示端到端学习

    本文介绍了一种新的学习方法，MIL-NCE, 用于从讲述视频中学习强大的视频表示，并能够在不需要手动注释的情况下进行。该方法通过对齐不对称的讲述视频，有效地学习了视频表示。作者在 HMDB-51、UCF-101、Kinetics-700 等多个数据集上进行了评估，证明了该方法优于已发表的自监督方法和多个全监督基准线的表现。

    Dec, 2019

  • 为密集视频字幕编写进行多模态预训练

    本文介绍了在视频学习中生成元信息的困难性，提出了一种基于时间戳注释的新数据集 Video Timeline Tags（ViTT）以及采用多模态序列预训练策略来预训练和微调密集视频字幕模型，证明了该模型可以很好地泛化和适用于各种各样的教学视频。

    Nov, 2020

  • 教学视频中的步骤差异

    通过利用现有步骤注释和配套叙述，我们提出了一种方法，首先自动生成大量涉及来自 HowTo100M 的视频对的视觉指导调优数据，然后训练一个视频修饰的语言模型以联合推理多个原始视频，以识别视频对之间的差异并根据这些差异的严重程度对视频进行排名，显示出在多个视频上进行一般推理的有希望能力。

    Apr, 2024