May, 2023

视频聊天：以聊天为中心的视频理解

PDF
TL;DR本研究介绍了一种以视频为中心的语音理解系统 VideoChat，它通过可学习的神经接口将视频基础模型和大型语言模型集成起来，在时空推理、事件定位和因果关系推断等方面表现出色。通过使用视频为中心的指令数据集，我们为这个系统提供了有指导性的调整建议，这个数据集由成千上万个视频和详细的描述和会话组成，突出了时空推理和因果关系，为训练以聊天为中心的视频理解系统提供了有价值的资源。初步的定性实验揭示了我们的系统在广泛的视频应用中的潜力，并为未来的研究设置了标准。
发现论文，激发创造
  • Video-ChatGPT: 通过大型视觉和语言模型实现详细视频理解

    介绍了基于视觉编码器与大型语言模型相结合的 Video-ChatGPT 模型，用于理解和生成关于视频的人类对话，并介绍了使用手动和半自动管道获得的新数据集，可用于训练和评估基于视频的对话模型，并在定量评估框架下分析了该模型的优劣。

    Jun, 2023

  • TimeChat：长视频理解的时间敏感多模态大型语言模型

    该研究提出了 TimeChat，一种针对长视频理解的时态敏感多模态大型语言模型。该模型通过两个关键的架构贡献实现：1) 能够将每帧的视觉内容与时间戳绑定的时间感知帧编码器，和 2) 一种产生适应不同持续时间视频的长度可变视频令牌序列的滑动视频 Q-Former。此外，我们构建了一个调整指令的数据集，包括 6 个任务和总共 12.5 万个实例，以进一步提高 TimeChat 的指令遵循性能。在各种视频理解任务上的实验结果，如密集字幕生成、时间定位和重点检测，展示了 TimeChat 强大的零样本时态定位和推理能力。例如，在 YouCook2 上，它在 F1 评分上提升了 9.2，在 CIDEr 上提升了 2.8，在 QVHighlights 上的 HIT@1 提升了 5.8，在 Charades-STA 上的 R@1 (IoU=0.5) 提升了 27.5，与业界领先的视频大型语言模型相比，具备作为长视频理解任务的通用视频助手并满足真实用户需求的潜力。

    Dec, 2023

  • Chat-UniVi：统一视觉表示赋予大型语言模型图像和视频理解能力

    Chat-UniVi 是一个统一的视觉 - 语言模型，能够理解和参与涉及图像和视频的对话，并通过一种统一的视觉表示来实现。该模型利用一组动态视觉令牌来统一表示图像和视频，同时具备捕捉图像的空间细节和视频的全面时间关系所需的能力。Chat-UniVi 在包含图像和视频的混合数据集上进行训练，无需任何修改即可直接应用于涉及两种介质的任务，并在广泛的实验结果中一直优于专门设计用于图像或视频的现有方法。

    Nov, 2023

  • 视频聊天字幕生成器：朝向丰富化的时空描述

    本研究提出了一个新的视频描述方法，即 Video ChatCaptioner，它使用 ChatGPT 模型作为控制器，提出视频内容驱动的问题并回答这些视觉查询，从而生成包含更多视觉细节的视频标题。

    Apr, 2023

  • ChatVideo: 基于 Tracklet 的多模式通用视频理解系统

    本文提出了一种基于轨迹为中心的多模态视频理解原型系统，使用各种视频基础模型（ViFMs）注释其特性，存储在数据库中，并通过数据库管理器与用户交互，以解决各种视频相关问题。

    Apr, 2023

  • 电影聊天 +: 针对长视频问答的问题感知稀疏记忆

    基于 Atkinson-Shiffrin 记忆模型与 Transformer 中的记忆承载器，通过特殊设计的记忆机制，无需额外的可训练时序模块，使用零 - shot 方法将预训练的多模态大型语言模型应用于理解长视频，提出了 MovieChat，实现了长视频理解的最新性能，并发布了包含 1K 个长视频、2K 个时序对齐标注和 14K 个手动注释验证方法有效性的 MovieChat-1K 基准。

    Apr, 2024

  • 基于游戏的视频上下文对话

    本文介绍了基于现场足球比赛视频和 Twitch.tv 聊天记录的多说话者、视觉语境下的对话数据集，利用此数据集开发出具有多模态对话技能和视觉定位应用的对话模型，并通过多项评估指标和人类评估研究验证其效果。

    Sep, 2018

  • 视频语言理解：模型架构、模型训练和数据视角的综述

    本文综述了视频 - 语言理解系统的关键任务、相关挑战以及模型架构、模型训练和数据观点等方面的方法，并进行了方法间的性能比较，提出了未来研究的有前景的方向。

    Jun, 2024

  • 从大规模网络视频中学习真实世界的对话

    我们引入了 CHAMPAGNE，这是一个可以考虑到视觉上下文的对话生成模型，使用收集的大规模语料库 YTD-18M 进行训练，获得了最先进的结果。

    Mar, 2023

  • CrossTalk: 提升视频会议中的沟通与协作能力 —— 从对话语音中识别意图

    通过结合智能技术和通信与协作，本研究提出了数字通信媒体的三个关键设计概念，包括面板基底、基于语言的意图识别和轻量级交互技术，并开发了名为 CrossTalk 的视频会议系统来实现这些概念，从而实现了更流畅灵活的通信和协作体验。

    Aug, 2023