Dec, 2023

视频中学习对象状态变化：一个开放世界的视角

PDF
TL;DR对象状态变化（OSC）对于视频理解至关重要。我们引入了一种新颖的开放世界表述，用于视频 OSC 问题。我们开发了 VidOSC，一种整体学习方法，利用文本和视觉 - 语言模型提供监督信号来消除手动标注 OSC 训练数据的需要，并从对象中抽象出细粒度的共享状态表示来增强泛化性能。此外，我们提出了 HowToChange，这是第一个用于视频 OSC 定位的开放世界基准，与现有最佳基准相比，其标签空间和注释量增加了一个数量级。实验结果证明了我们方法在传统闭世界和开放世界场景中的有效性。
object state changesvideo understandingopen-world formulationvidoschowtochange
发现论文，激发创造
  • OSCaR：对象状态字幕和状态变化表示

    通过介绍 Object State Captioning and State Change Representation (OSCaR) 数据集和基准测试，本文旨在解决智能模型在理解和推测物体状态变化方面的挑战，提出了一种新的评估多模态大型语言模型 (MLLMs) 的方法，并表明现有的模型在理解这些变化方面仍需要进一步改进。

    Feb, 2024

  • 预测物体状态的变化

    提出了解决图像和视频中物体状态变化的问题的第一种方法，通过集成学习的视觉特征和自然语言特征来预测未来可能发生的物体状态变化，从而增强视频理解系统的预测性能。

    May, 2024

  • 利用知識圖譜進行零樣本物體無關狀態分類

    我们研究了对象状态分类（OSC）作为一种零样本学习问题。我们提出了第一个不依赖于对象类别的对象无关状态分类方法（OaSC），该方法可以在不依赖于对象类别的知识或估计的情况下推断出某个对象的状态。通过在知识图谱（KGs）中组织和结构化知识，结合视觉信息，我们能够推断出在方法的训练集中未遇到的对象 / 状态对的对象状态。一系列实验研究了所提出的方法在各种设置下的性能，并与用于对象属性分类的现有方法进行了比较。实验结果表明，对象类别的知识并不决定其状态的预测。此外，所提出的 OaSC 方法在所有数据集和基准测试中均显著优于现有方法。

    Jul, 2023

  • OW-VISCap：开放世界视频实例分割与字幕

    开放世界视频实例分割和字幕生成 (OW-VISCap) 是一种联合分割、跟踪和描述以前见过或未见过的视频中的物体的方法。

    Apr, 2024

  • 基于条件的视频目标中心学习

    该论文提出了一种弱监督学习方法，以对象为中心的表示和光流条件模型，可提高现实数据下的实例分割和追踪效果，改进了查询模型的灵活性，并扩展了应用范围。

    Nov, 2021

  • Video OWL-ViT：视频中的时间一致性开放世界定位

    基于 OWL-ViT 模型，我们通过添加一个 Transformer 解码器来成功将开放世界模型应用于视频以实现开放世界定位，从而实现了更好的时间一致性和更强的开放世界能力。

    Aug, 2023

  • 开放世界中的视频实例分割

    提出了第一个开放式视频实例分割 (Open-World Video Instance Segmentation, OW-VIS) 方法 ——OW-VISFormer，它引入了一个新的特征增强机制和一个时空客体性 (Spatio-Temporal Objectness, STO) 模块，并评估了其在开放式实验室下的特性。

    Apr, 2023

  • 从未修剪的网络视频中学习对象状态和状态修改动作寻找变化

    本文提出一种自我监督的模型，能够在长视频中联合学习目标物体的状态（例如，空杯子和满杯子）及其相应的状态变化行为（如 “倒咖啡”），并针对噪声数据和未筛选的视频数据分别采用噪声自适应加权模块和新的视频数据集进行监督训练，并在目标动作和物体状态识别方面都实现了相当大的进步。

    Mar, 2022

  • 通过大型语言模型从动作中学习对象状态

    通过使用大型语言模型，我们提出了一种从指导视频中的动作信息中提取物体状态信息的方法，并使用所生成的伪标签对模型进行训练，从而明确从动作中提取出物体状态信息的有效性。

    May, 2024

  • 无监督开放词汇视频物体定位

    通过在视频中定位对象的插槽注意力方法以及利用预训练的 CLIP 模型实现无监督视频对象定位，我们展示了近期视频表征学习和预训练视觉语言模型的重要进展，取得了显著的提升，并成为首个在常规视频基准数据集上具有良好结果的无监督方法。

    Sep, 2023