CVPRMar, 2019

基于教学视频的跨任务弱监督学习

PDF
TL;DR采用弱监督学习框架，通过使用教学说明和有序步骤列表而非强监督学习形式的时间标注，学习普通任务中步骤的视觉模型，提出了一种组件模型用于识别步骤，实验结果表明，跨任务共享有助于提高组件水平的性能。
weak supervisionvisual modelscomponent modelcross-task sharinglearning framework
发现论文，激发创造
  • 教学视频中任务结构的学习与验证

    本论文介绍了一种新的预训练视频模型，VideoTaskformer，利用遮盖步骤建立弱监督学习任务，学习全局步骤表示，实现对多步骤任务的表示和预测。同时提出了两个新的基准测试来检测指令视频中的错误步骤和步骤执行顺序，以及一项长期预测基准测试，均取得了优于现有基线的性能，适用于评估全球学习的步骤表示质量。

    Mar, 2023

  • 使用叙述指令视频进行无监督学习

    本文提出一种基于非监督学习的方法，通过集合指导语音和视频，可以自动地学习完成某项任务的主要步骤，例如更换汽车轮胎。通过应用两个聚类问题，同时解决文本和视频中的信息，使它们连接在一起，得出在两种情况下都具有一致性的主要步骤。本文提出的方法可以自动地在输入视频中发现和定位处于任务中的主要步骤。作者还采集和注解了一个包含旨在模拟真实场景的任务的挑战数据集。

    Jun, 2015

  • 使用多任务弱监督训练复杂模型

    文章提出了一种基于多任务弱监督的矩阵补全方法，通过建立弱监督任务之间的相关性解决弱监督准确性低的问题，从而提高模型训练的效果。实验结果表明，与传统的有监督方法相比，该方法能平均提高 20.2% 的准确率。

    Oct, 2018

  • P3IV: 从教学视频中使用弱监督进行概率过程规划

    本文提出了一种基于 transformer 和概率生成模块的弱监督方法，用于学习从自然语言指令中提取过程规划，避免了对训练视频进行昂贵的时序视频标注，并在三个数据集上的对比实验证明其优于之前的全监督模型。

    May, 2022

  • 从说明视频和其叙述中学习过程感知视频表示

    研究利用大量网络教学视频和其解说学习视频表示方法，以编码动作步骤及其时间排序，推动步骤分类和预测等领域的发展。通过深度概率模型同时学习视频表示和时间依赖关系，且在 COIN 和 EPIC-Kitchens 等数据集上，具有比同类研究更明显的提升。同时，该研究对于不完整步骤的步骤推测也有良好的表现。

    Mar, 2023

  • StepFormer：自监督下的指导视频步骤发现和定位

    介绍了一种自监督方法，叫做 StepFormer，用于从无需人类监督的大规模教学视频中发现和定位关键步骤。该方法使用 transformer 解码器关注视频，以生成一系列包含视频关键步骤的槽。通过使用文本形式的指导并采用顺序感知损失过滤掉无关短语，该方法在所有之前的非监督和弱监督方法上有了显着提升，具有解决零样本多步定位的优良特性。

    Apr, 2023

  • 从教学视频转录中生成无监督任务图

    本文探讨了生成真实世界活动任务图的问题，提出了一种无监督的任务图生成方法，结合语言模型的推理能力、聚类和排名组件，比 ProceL 和 CrossTask 数据集中的有监督学习方法生成更准确的任务图。

    Feb, 2023

  • 通过叙述学习将说明文章与视频联系起来

    本文提出了一种无需手动监督的方法来将『如何做』视频中的步骤与 wikiHow 等语言知识库中的指导文章进行对齐，并采用多模态对齐进行全局时间定位，验证结果表明与现有方法相比具有明显优势。

    Jun, 2023

  • 利用生成式语言模型进行弱监督视频语言联合学习中的句子组件分析

    利用预训练的大型语言模型，通过计算句子组成部分的相对重要性并利用它们来改善不同的视频语言任务，我们的方法在多个视频语言任务中显著提升。

    Dec, 2023

  • 通过观察和叙述学习动作分割

    应用叙述指导下的生成式分段模型，重点研究在无监督和弱监督设置中进行视频动作分割，发现任务结构和叙述语言在训练中被用作监督来源有利于提高分割质量.

    May, 2020