EMNLPOct, 2022

从海量非结构化教学视频中学习语法规则诱导器

PDF
TL;DR本文研究了视频和文字间松散对应情况下的视频辅助语法归纳方法，构建了新的模型并在大规模 YouTube 数据上进行训练，实现了在不同数据集上的强大性能表现，优于之前领先的系统。
video-aided grammar inductionsyntactic grammarsloose correspondencelanguage acquisitionyoutube data
发现论文，激发创造
  • 视频辅助的无监督语法归纳

    本研究旨在探索利用视频信息进行语法归纳，通过提取丰富的视频特征，使用多模混合概率上下文无关文法模型（MMC-PCFG）进行端到端的无监督语法归纳，实验结果表明该模型在未标注的文本和视频中表现出色。

    Apr, 2021

  • 语音视频定位的视频引导课程学习

    本文介绍了一种新的任务：口语视频 grounding（SVG），旨在将口语描述中的期望视频片段定位出来。该文通过电视测试数据表明，采用音频需要模型直接从原始语音中利用有用的音素和音节与视频相关信息。为了更好地模拟实际应用，还将环境噪声随机添加到这种语音音频中，用于纠正识别性音素并从噪声音频中提取视频相关信息，研发一种新的视频引导课程学习（VGCL）方法。经过广泛的实验证明，我们提出的视频引导课程学习可能促进预训练过程，从而获得一种相互的音频编码器，并显着促进了口语视频焦点任务的表现。

    Sep, 2022

  • 从文本网络监督中学习视频表征

    通过采集 70M 个公开的视频并使用相关的文本描述进行自我监督训练，本文提出了一种基于文本的学习视频表示的方法，证明了这种方法在预训练视频表示中比现有的方法更有效。

    Jul, 2020

  • 无监督视频集合中的语义行为发现

    通过视觉和语言提示的联合生成模型，对互联网上海量的指示视频进行语义步骤解析，为每个语义步骤和视频段提供文本描述。大量的 YouTube 视频验证了该方法能够准确发现各种任务的语义正确指示。

    May, 2016

  • 从未经筛选的教育视频中的视觉表示端到端学习

    本文介绍了一种新的学习方法，MIL-NCE, 用于从讲述视频中学习强大的视频表示，并能够在不需要手动注释的情况下进行。该方法通过对齐不对称的讲述视频，有效地学习了视频表示。作者在 HMDB-51、UCF-101、Kinetics-700 等多个数据集上进行了评估，证明了该方法优于已发表的自监督方法和多个全监督基准线的表现。

    Dec, 2019

  • 数百万视频上的视觉语言模型蒸馏

    本研究利用合成的教学数据对图像语言基准进行微调，生成高质量的视频标题，构建适应视频和语言的模型，并在多个视频 - 语言基准上取得了显著结果。

    Jan, 2024

  • 视频（语言）建模：自然视频生成模型的基线

    本文提出了一种用于无监督特征学习的视频数据的强基线模型，通过学习预测输入视频序列中缺少的帧或外推未来帧，该模型发现了对于表示复杂变形和运动模式有用的空间和时间相关性，并且是借鉴语言建模文献，通过将图像补丁的空间量化为一个大字典，适应了视觉领域。我们在填充和生成任务上演示了该方法。第一次，我们展示了在自然视频上训练后，这样一个模型可以预测短视频序列中的非平凡运动。

    Dec, 2014

  • 基于文本挖掘的语言知识提升的 LSTM 视频描述

    本文探讨了如何从大型文本语料库中挖掘语言知识以帮助生成视频的自然语言描述，并将神经语言模型和分布式语义训练应用于最近的基于 LSTM 的视频描述体系结构。我们在一组 Youtube 视频和两个大型电影描述数据集上评估了我们的方法，在改善语法正确性的同时适度提高了描述质量。

    Apr, 2016

  • 指令视频中的无监督视觉语言引用解析

    通过学习联合视觉和语言模型，我们提出了一种无监督方法来解决教育视频中的实体指代问题，具有可以显著提高指代解析的能力。

    Mar, 2017

  • 从教学视频转录中生成无监督任务图

    本文探讨了生成真实世界活动任务图的问题，提出了一种无监督的任务图生成方法，结合语言模型的推理能力、聚类和排名组件，比 ProceL 和 CrossTask 数据集中的有监督学习方法生成更准确的任务图。

    Feb, 2023