AAAIDec, 2023

协同弱监督视频相关学习用于过程感知教学视频分析

PDF
TL;DR我们介绍了一种用于指导性视频的程序感知相关性学习的弱监督框架，该框架包含协同步骤挖掘和帧到步骤对齐两个核心模块，并在序列验证和行动质量评估两个任务中进行了实例化，实验证实了我们的方法在为指导性视频提供准确和可解释的相关性分析方面的有效性。
发现论文，激发创造
  • P3IV: 从教学视频中使用弱监督进行概率过程规划

    本文提出了一种基于 transformer 和概率生成模块的弱监督方法，用于学习从自然语言指令中提取过程规划，避免了对训练视频进行昂贵的时序视频标注，并在三个数据集上的对比实验证明其优于之前的全监督模型。

    May, 2022

  • 从说明视频和其叙述中学习过程感知视频表示

    研究利用大量网络教学视频和其解说学习视频表示方法，以编码动作步骤及其时间排序，推动步骤分类和预测等领域的发展。通过深度概率模型同时学习视频表示和时间依赖关系，且在 COIN 和 EPIC-Kitchens 等数据集上，具有比同类研究更明显的提升。同时，该研究对于不完整步骤的步骤推测也有良好的表现。

    Mar, 2023

  • 基于教学视频的跨任务弱监督学习

    采用弱监督学习框架，通过使用教学说明和有序步骤列表而非强监督学习形式的时间标注，学习普通任务中步骤的视觉模型，提出了一种组件模型用于识别步骤，实验结果表明，跨任务共享有助于提高组件水平的性能。

    Mar, 2019

  • 面向操作流程的指导视频理解预训练

    本研究旨在利用视频表示学习技术，通过构建 Procedural Knowledge Graph (PKG) 生成伪标签来训练视频表示模型，以提高多种程序理解任务的精度。其中 PKG 结构由通过无标签的教学视频和基于文本的程序知识库信息融合而成，训练数据使用了四个新的预训练目标。最终模型 Paprika 在 12 个任务上实现了高达 11.23% 的精度提升。

    Mar, 2023

  • 无标记学习稳健视频同步

    本文介绍一种可扩展和强健的非线性时间视频对齐方法，该方法利用了视频本身的本质，能够在没有手动标签的情况下对月份间隔的数据进行视频对齐，并能用于计算机图形学和视觉领域的广泛应用。

    Oct, 2016

  • 使用叙述指令视频进行无监督学习

    本文提出一种基于非监督学习的方法，通过集合指导语音和视频，可以自动地学习完成某项任务的主要步骤，例如更换汽车轮胎。通过应用两个聚类问题，同时解决文本和视频中的信息，使它们连接在一起，得出在两种情况下都具有一致性的主要步骤。本文提出的方法可以自动地在输入视频中发现和定位处于任务中的主要步骤。作者还采集和注解了一个包含旨在模拟真实场景的任务的挑战数据集。

    Jun, 2015

  • 自监督时空学习的视频空缺程序

    该论文提出了一种自我监督学习的方法 —— 视频 Cloze 过程（VCP），用于学习丰富的时空表示。通过将其作为代理任务或目标任务，VCP 可以将自我监督表示转换为视频剪辑操作（选项），从而提高了表示学习的灵活性并降低了复杂性，并可以以一种统一且可解释的方式评估已学习的表示模型，实验结果表明，与最先进的自监督模型相比，所训练的模型具有显著优势。

    Jan, 2020

  • 利用非对齐文本进行弱监督视频表示学习

    本文提出了一种基于 transformer，支持弱监督下视频理解的方法，主要包括多粒度损失函数、伪造的帧 - 句对应关系等。在视频序列验证和文本匹配实验中表现良好。

    Mar, 2023

  • 视频文字弱监督对齐

    本文提出了一种方法来自动对齐视频和文本，并使用向量特征将其视为时间分配问题，最终得出整数解决方案，这在对齐视频与符号标签方面取得了显着的改进并在具有相关文本说明的挑战性数据集上进行了评估。

    May, 2015

  • CoLeaF: 一个对比 - 协同学习框架，用于弱监督音频 - 视觉视频解析

    通过使用 CoLeaF，一种新的学习框架，提高了弱监督音频 - 视觉视频解析的性能，通过在嵌入空间中优化跨模态上下文的集成，对于可听 - 可见事件，网络能够明确学习将跨模态信息结合起来，而对于不一致的事件进行过滤。

    May, 2024