Jun, 2024

Flash-VStream：基于内存的长视频实时理解

PDF
TL;DR在这篇论文中，我们介绍了一种名为 Flash-VStream 的视频语言模型，它模拟了人类的记忆机制，能够实时处理极长的视频流并同时对用户查询进行响应。与现有模型相比，Flash-VStream 在推理延迟和 VRAM 消耗方面实现了显著的减少，并在在线视频流理解领域表现出了优异的性能。我们还提出了 VStream-QA，一个专门为在线视频流理解设计的新型问答基准，与现有方法在该基准上的比较结果显示了我们方法在这个具有挑战性场景中的优势。此外，我们的方法在离线场景中也取得了最先进的性能。
multi-modal video understandingonline video streamsflash-vstreaminference latencyvstream-qa
发现论文，激发创造
  • 使用大型语言模型的流式长视频理解

    这篇论文介绍了 VideoStreaming，一种用于视频理解的先进视觉语言大型模型 (VLLM)，它能够通过编码和自适应选择的少量视频标记流式地理解任意长度的视频。

    May, 2024

  • 电影聊天 +: 针对长视频问答的问题感知稀疏记忆

    基于 Atkinson-Shiffrin 记忆模型与 Transformer 中的记忆承载器，通过特殊设计的记忆机制，无需额外的可训练时序模块，使用零 - shot 方法将预训练的多模态大型语言模型应用于理解长视频，提出了 MovieChat，实现了长视频理解的最新性能，并发布了包含 1K 个长视频、2K 个时序对齐标注和 14K 个手动注释验证方法有效性的 MovieChat-1K 基准。

    Apr, 2024

  • 视频 LLM-online：用于流媒体视频的在线视频大语言模型

    通过学习视频流进行大规模语言模型增强，提供视觉能力及实时对话功能，以应对视频流输入的视频流对话学习目标、数据生成方案和优化推断流程的新颖学习框架。

    Jun, 2024

  • MA-LMM：用于长期视频理解的增强记忆大型多模态模型

    通过在在线方式处理视频并将过去的视频信息存储在记忆库中，该研究提出了一种用于长期视频理解的高效有效模型，可以超越语言模型的上下文长度限制和 GPU 内存限制，并在多个数据集上实现了最先进的性能。

    Apr, 2024

  • 用于长视频问答的分层记忆

    本文描述了我们在 LOVEU 挑战赛 @CVPR'24 中的冠军解决方案，利用 STAR Memory 这个层次性内存机制处理长视频，并使用 MovieChat-1K 训练集优化了预训练权重，在该挑战中取得了第一名。

    Jun, 2024

  • 电影对话：从密集令牌到稀疏记忆的长视频理解

    视频理解系统 MovieChat 利用大型语言模型和视频基础模型，通过引入记忆机制解决了处理长视频时的计算复杂性、内存开销和长期时间连接等挑战。

    Jul, 2023

  • StreamingT2V：基于文本的一致、动态、可扩展长视频生成

    通过 StreamingT2V 方法，可以实现高质量的长视频生成，该方法采用文本到视频扩散模型并引入条件注意模块，具有一致性和高运动量。

    Mar, 2024

  • 流式视频密集字幕

    提出了一种用于密集视频字幕生成的理想模型，能够处理长时间视频输入、预测丰富详细的文本描述，并且能在整个视频处理完成之前生成输出，通过引入聚类处理令其能够处理任意长的视频，并设计了一种流式解码算法使模型能够提前进行预测，实验证明了该模型在三个密集视频字幕生成基准数据集上优于现有的最先进模型。

    Apr, 2024

  • 用于高效长视频问答的基于检索的视频语言模型

    使用检索式视频语言模型为长视频问答提供了一种简单而有效的方法，通过识别和选择最相关的视频片段并使用其关联的视觉标记作为上下文，从而降低了视频令牌的数量，消除了噪音干扰，并提高了系统性能。

    Dec, 2023

  • 幻觉减轻促进长期视频理解

    本文提出了一种基于现有多模态大型语言模型的全面幻觉缓解方法，通过使用 CLIP 分数指导带有问题的帧采样过程，并将问题信息注入到图像 Q-former 的查询中以获取更重要的视觉特征，最终在 MovieChat 数据集上取得了 84.2％和 62.9％的全局和断点模式准确率，超过了官方基线模型的 29.1％和 24.1％，在 CVPR LOVEU 2024 长期视频问答挑战中获得了第三名。

    Jun, 2024