Oct, 2023

使用大型预训练模型进行零样本开放词汇跟踪

PDF
TL;DR通过重复用大规模预训练模型进行检测和分割，本研究提出了一种在 2D 视频中追踪和分割任何类别对象的模型，并在多个评估数据集上取得了强大的性能表现。
object trackingtracking-by-detectionpre-trained modelsvideo trackingsegmentation
发现论文，激发创造
  • OVTrack: 开放式词汇多目标跟踪

    本研究解决了传统多目标跟踪方法只针对少数预定义对象类型的固有限制，并提出了一种新的任务 Open-vocabulary MOT，进一步开发出一种数据效率优异的开放词汇跟踪器 OVTrack，通过知识蒸馏和数据幻觉策略有效提升图像分类和关联准确性，最终在大规模的 TAO 基准测试上取得了最新的最优效果。

    Apr, 2023

  • Video OWL-ViT：视频中的时间一致性开放世界定位

    基于 OWL-ViT 模型，我们通过添加一个 Transformer 解码器来成功将开放世界模型应用于视频以实现开放世界定位，从而实现了更好的时间一致性和更强的开放世界能力。

    Aug, 2023

  • 使用开放词汇部分分割技术实现更密集的结果

    本文提出了一个具有部分分割能力的检测器，可以通过多粒度对齐来预测开放词汇的物体和它们的部件分割，并通过密集语义对应将新物体解析为其部件。该方法在不同数据集上的实验表现优于基线方法，并且具有更好的数据通用性。

    May, 2023

  • 学习跟踪任意物体

    本研究通过将类别特定的外观模型重新定义为通用的物体状态预测，在两种大规模跟踪基准测评（OxUvA 和 GOT）中实现了最先进的结果，并通过添加一个 mask 预测分支，为跟踪的对象生成实例分割掩模。

    Oct, 2019

  • 自动驾驶中的无监督 3D 感知与 2D 视觉语言蒸馏

    本文介绍了一种多模态自动标注流程，可以生成用于训练开放式类别的无标注 3D 边界框和轨迹，从而处理自动驾驶等安全关键应用中可能在部署后遇到的新物体类型。相比于当前领域的最新研究，我们的方法可以以无监督的方式处理静态和移动的对象，并通过提出的视觉 - 语言知识蒸馏方法输出开放式词汇的语义标签。基于 Waymo 开放数据集的实验证明，我们的方法在各种无监督 3D 感知任务上显著优于先前的工作。

    Sep, 2023

  • 使用视觉 Transformer 进行简单的开放词汇物体检测

    采用对比式图文预训练和端到端检测微调方法，结合扩展的图像预训练和模型尺度的优化，实现了基于 Vision Transformer 的开放词汇目标检测的零样本和单样本条件下的行为表现。

    May, 2022

  • OpenVIS: 开放词汇视频实例分割

    本研究提出和研究了一项新的计算机视觉任务，名为 OpenVIS，该任务旨在根据对应的文本描述同时分割，检测和跟踪视频中的任意对象。通过开放词汇的设计，OpenVIS 可以识别所需类别的对象，而不管这些类别是否包括在训练数据集中。为了实现这一目标，本文提出了一个由两个阶段组成的流程，首先利用基于查询的蒙版提议网络生成所有潜在对象的蒙版，并通过预先训练的 VLM 预测其对应的类别，其次通过提议后处理方法更好地适应预训练的 VLMs，以避免扭曲和不自然的提议输入。

    May, 2023

  • 带伪边界框标签的开放词汇目标检测

    本研究提出一种方法，从大规模图像 - 字幕对中自动生成多样物体的伪包围框注释，以扩大训练基础类别的范围，并通过实验证明该方法在各种数据集上比最先进的开放词汇检测器有更好的检测结果。

    Nov, 2021

  • 基于基础模型的 3D 开放词汇分割

    本研究利用预训练的 CLIP 和 DINO 模型的多模式知识和物体推理能力来解决三维开放式词汇分割的挑战。通过优化神经辐射场 (NeRF) 并引入相应的损失函数，本研究在无需进行微调的情况下，以开放式视觉和文本知识为先验知识，从 2D 特征中提取出 3D 分割特征。通过实验验证，本研究所提出的方法在无需分割注释的情况下，甚至优于完全监督的分割模型训练，表明三维开放式词汇分割可以有效地从 2D 图像和文本图像对中学到。

    May, 2023

  • 基于条件的视频目标中心学习

    该论文提出了一种弱监督学习方法，以对象为中心的表示和光流条件模型，可提高现实数据下的实例分割和追踪效果，改进了查询模型的灵活性，并扩展了应用范围。

    Nov, 2021