COLINGFeb, 2024

OLViT: 基于注意力嵌入的视频对话多模态状态追踪

PDF
TL;DR我们提出了 Object Language Video Transformer (OLViT) - 一种新颖的视频对话模型，它在基于多模态注意力的对话状态跟踪器上运行。OLViT 通过维护基于对象状态跟踪器 (OST) 和语言状态跟踪器 (LST) 的全局对话状态来解决现有视频对话模型在视频中需要空间和时间定位、长期时间推理和跨多个对话轮次的准确对象跟踪等问题。与之前的工作形成鲜明对比的是，我们的方法和性质是通用的，因此能够学习到最相关的对象和轮次的连续多模态对话状态表示。因此，它们可以无缝地与大型语言模型 (LLM) 集成，并在处理不同数据集和任务时具有高灵活性。在具有挑战性的 DVD (响应分类) 和 SIMMC 2.1 (响应生成) 数据集上的评估结果显示，OLViT 实现了两个数据集上的新的最先进性能。
object language video transformermulti-modal attention-based dialog state trackerspatial and temporal localizationlong-term temporal reasoningobject tracking
发现论文，激发创造
  • 多模态对话状态跟踪

    本文提出了一项新的多模式对话状态跟踪任务，用于跟踪视频对话中提到的视觉对象的信息；并介绍了 Video-Dialogue Transformer Network (VDTN) 作为实现该任务的基准模型。

    Jun, 2022

  • 目标区域视频转换器

    本文提出了 Object-Region Video Transformers (ORViT)—— 一种基于对象的视觉转换方法，通过融合早期层的对象间信息直接影响整个网络的时空表示。我们的模型通过面向对象的自我关注和分离对象的动态特征来捕获物体和其在视频中的动态交互，取得了在多项任务和数据集上的显著性能提升。

    Oct, 2021

  • 将更多关注转移到视觉语言对象追踪上

    我们设计了一种有效的视觉 - 语言表示方法，同时为追踪问题构建了一个大型带有语言注释的数据库。通过引入异构架构搜索和模态混合器等核心技术，以及对不同模态之间进行对比损失的引入，我们能够显著改善追踪问题的解决方案，并期望将更多注意力转向视觉 - 语言追踪，为未来的多样化多模态消息追踪开辟更多可能性。

    Jul, 2023

  • LoViT：用于外科阶段识别的长视频 Transformer

    本文介绍了一种称为长视频变压器（LoViT）的两阶段方法，用于融合短期和长期时间信息的融合，可以比当前的方法更好地处理手术过程中的长视频，并通过将本地和全局特征结合起来使用多尺度时间聚合器对手术相位进行分类。研究发现，与现有的方法相比，LoViT 在两个手术视频数据集上的表现最优

    May, 2023

  • 更多关注视觉语言跟踪

    本文介绍一种基于 ConvNets 和多模态视觉语言 (VL) 的追踪方法，通过模态混合器（ModaMixer）和不对称的 ConvNet 搜索，学习新颖的统一自适应 VL 表示，仅使用 ConvNets 能够在 SOTA 追踪中表现出色，甚至超过几个基于 Transformer 的 SOTA 追踪器。

    Jul, 2022

  • MAVOT: 基于内存增强的视频物体跟踪

    该论文提出了一种基于外部记忆的一次学习方法来解决视频物体跟踪问题，可以处理多种复杂情况，并且在 VOT-2016 基准测试中表现良好。

    Nov, 2017

  • ViT-Lens: 走向全模态表示

    本文介绍了一种名为 ViT-Lens 的方法，通过使用预训练的 ViT 模型感知新颖形式的多模态数据，并与预定义空间进行对齐，从而实现高效的全模态表示学习。在以 3D 为例的验证中，ViT-Lens 在零样本 3D 分类任务中取得了显著的改进，同时还成功将训练好的 3D lens 集成到 InstructBLIP 模型中实现了零样本 3D 问答。

    Aug, 2023

  • 利用视觉检测模型增强多模态大型语言模型：实证研究

    通过融合先进的目标检测和光学字符识别模型，我们在多模态大型语言模型的基础上进行了实证研究，以改善对细粒度图像理解的能力并减少回应中的虚构现象。我们的研究探讨了融合检测信息的基于嵌入的方法，该方法对原始多模态大型语言模型的影响以及检测模型的互换性。通过与 LLaVA-1.5、DINO 和 PaddleOCRv2 等模型进行系统实验，我们发现我们的方法不仅在特定的视觉任务中提高了多模态大型语言模型的性能，而且保持了其原始优势。结果表明，改进后的多模态大型语言模型在 10 个基准测试中有 9 个超过了先进模型，在规范化的平均得分上取得了最高 12.99% 的提升，标志着多模态理解领域的重大进展。通过发布我们的代码，我们希望进一步探索多模态大型语言模型在细粒度多模态对话能力方面的应用。

    Jan, 2024

  • Elysium：透过 MLLM 探索视频中的物体层次感知

    通过在大型视频数据集上进行大规模预训练，我们提出了一种全新的多模态大型语言模型（MLLM），名为 Elysium，该模型可以在视频中进行物体级任务，而无需任何其他插件或专家模型。

    Mar, 2024

  • 多粒度语言指导的多目标追踪

    通过结合多模态的语言驱动特征和视觉特征，在多目标跟踪中提出了一种新的 LG-MOT 框架，它在不同层次上（场景和实例级）明确利用语言信息并且与标准视觉特征结合以获得判别性表示。通过在现有的 MOT 数据集中注释场景和实例级的语言描述，将语言信息编码到高维度嵌入中，并在训练过程中用于引导视觉特征。在三个基准测试集 MOT17、DanceTrack 和 SportsMOT 上进行了广泛实验，结果显示提出的方法在性能上达到了最先进水平，并在舞蹈跟踪测试集上相对于仅使用视觉特征的基线方法具有绝对增益 2.2％。此外，所提出的 LG-MOT 表现出良好的跨领域泛化能力。

    Jun, 2024