Aug, 2023

VideoPro：一种交互式视频编程的视觉分析方法

PDF
TL;DR通过视觉分析和数据编程，本文提出了 VideoPro，一种支持灵活和可扩展的视频数据编程的方法，以减少人力成本并监控模型效果的可视界面。通过提取视频中的可理解事件并利用其作为标签函数的组成部分，我们进一步提出了一种两阶段的模板挖掘算法用于高效的数据标注。通过两个案例研究和专家访谈的验证，证明了我们的方法的效率和有效性。
发现论文，激发创造
  • 零样本视频问答与程序化程序

    我们提出使用程序化的短程序来回答关于视频的零样本问题，通过解决一系列视觉子任务来得出最终答案。我们提供的 ProViQ 框架在视频理解方面取得了最先进的结果，并在多个基准测试中实现了高达 25% 的提升，可以执行除了问题回答之外的其他视频任务。

    Dec, 2023

  • 视觉编程：无需训练的构成性视觉推理

    VISPROG 是一种神经符号方法，用于解决复杂和组合的视觉任务，所需的仅是自然语言指令，通过生成类似 Python 的模块化程序来实现，每行程序可以调用各种计算机视觉模型，图像处理算法或 Python 函数以产生中间输出，展示了其在 4 个不同的任务上的灵活性 。

    Nov, 2022

  • 用显式的程序化知识引导视频预测

    我们提出了一种将领域的程序化知识集成到深度学习模型中的通用方法，并通过基于物体为中心的深度模型对视频预测进行应用，表明这比仅使用数据驱动模型能够获得更好的性能。我们开发了一种使潜在空间解缠结的架构，以利用集成的程序化知识，并建立了一个允许模型在潜在空间中通过视频预测的下游任务学习程序接口的设置。我们将其性能与最先进的数据驱动方法进行对比，并展示了纯数据驱动方法困难的问题可以通过使用领域知识来处理，从而提供了不仅仅是收集更多数据的替代方法。

    Jun, 2024

  • SPOT！重新审视视频语言模型用于事件理解

    利用网络爬取的大规模视频 - 文本对数据作为弱监督，视频理解模型的能力在事件层面的差异中辨别和理解细粒度事件方面仍存在问题，通过提出 SPOT Prober 方法并进行实验证明，通过将操作后的事件描述插入作为难负样本能有效增强模型对事件理解的能力。

    Nov, 2023

  • 多樣視頻演示生成程序

    本文介绍一种可以从视频演示中提取概括性规则的模型，并探讨了其处理多个序列的能力，从而相较于传统的概括技术可以更好地利用边缘情况，并无需进行额外的过滤。通过在 Vizdoom 环境中合成程序的实验，取得了相对于现有工作的 11.75% 的程序准确性的提升。

    Feb, 2023

  • 从网络教学视频中实现自动学习程序

    本文提出了使用长视频分类和描述学习人类共识过程结构的方法，利用 YouCook2 数据集和基于段的递归网络生成过程段。该方法可用于向其他任务提供预处理，如密集视频字幕和事件解析，并在过程分割中优于竞争基线。

    Mar, 2017

  • 基于基础模型和形式验证的规范驱动视频搜索

    使用视觉和语言模型以及形式方法，本研究论文提出了一种自动高效搜索感兴趣视频事件的方法，通过将文本描述转换为有限轨迹的线性时态逻辑（LTLf）并构建视频信息的自动机，然后使用形式方法验证自动机是否满足规范，如果满足则将相关视频片段添加到搜索结果中。本研究通过定性和定量分析展示了该方法在搜索隐私敏感视频和自动驾驶数据集方面的潜力，并达到了超过 90% 的搜索精度。

    Sep, 2023

  • 数据编程：快速创建大规模训练集

    为解决有限数据训练集的问题，本研究提出一种名为 Data Programming 的范式，通过弱监督策略和领域启发式标注函数生成训练集，以生成模型表示训练集的标注过程并降噪，探讨数据编程在监督学习中的应用及在 TAC-KBP 数据集上的检测等实验与研究。

    May, 2016

  • 利用多模态自监督从零开始标记未标记的视频

    本文提出了一种基于音频和视觉的聚类方法，可以实现对视频数据集的无监督标记。经过广泛的分析，结果聚类与人工标签有很高的语义重叠性。同时，该方法也为 Kinetics，Kinetics-Sound，VGG-Sound 和 AVE 等常见视频数据集的无监督标记带来了首批基准结果。

    Jun, 2020

  • 视频预训练（VPT）：通过观看未标记的在线视频学习行为

    该研究探索了如何利用半监督式模仿学习的方法，在游戏领域中通过预训练行为先验模型来实现强化学习，从而达到人类甚至更高的行为水平。

    Jun, 2022