Mar, 2023

MuLTI: 多路径采样与多项选择模型实现高效视频和语言理解

PDF
TL;DR本文提出了一种高精度、内存高效的视频和语言理解模型 MuLTI，通过特征采样和注意力模块实现了高效而有效的特征融合，引入了基于注意力的适配器来微调编码器的浅层特征以提高模型性能，最后引入了一种新的预训练任务 Multiple Choice Modeling 来增强模型对齐视频和文本的能力。该模型在多个数据集上实现了最新的性能，实现和预训练模型将被发布。
发现论文，激发创造
  • 一个多模态语言模型中理解长视频的方法

    利用多模态视频理解框架，在长视频和细粒度动作识别基准测试中展示了最前沿的性能表现。

    Mar, 2024

  • MA-LMM：用于长期视频理解的增强记忆大型多模态模型

    通过在在线方式处理视频并将过去的视频信息存储在记忆库中，该研究提出了一种用于长期视频理解的高效有效模型，可以超越语言模型的上下文长度限制和 GPU 内存限制，并在多个数据集上实现了最先进的性能。

    Apr, 2024

  • 用于多通道视频 - 语言检索的预训练对比模型的快速适应

    探索多模态检索中利用预训练对比模型和文本符号融合信息的最佳方式，并发现用离散文本符号表示视频的方法取得最佳效果。

    Jun, 2022

  • 用于视频字幕的多模态记忆建模

    本文提出了一种多模态记忆模型 (M3)，利用视觉和文本共享的记忆来建模长期的视觉 - 文本依赖关系并进一步引导全局的视觉注意力，该方法在公开基准数据集上的实验证明，相比于最先进的方法，本文提出的方法在 BLEU 和 METEOR 方面表现较好。

    Nov, 2016

  • 增强型大语言模型视频助理

    本文旨在开发一个新颖的多模态基础模型 ——Valley: Video Assistant with Large Language model Enhanced ability，实现对视频、图像和语言的感知，并通过 ChatGPT 设计的多任务指令追随视频数据，在人类和视频之间进行各种任务定向的对话，为多语言的视频助手提供高度有效的支持。

    Jun, 2023

  • 电影聊天 +: 针对长视频问答的问题感知稀疏记忆

    基于 Atkinson-Shiffrin 记忆模型与 Transformer 中的记忆承载器，通过特殊设计的记忆机制，无需额外的可训练时序模块，使用零 - shot 方法将预训练的多模态大型语言模型应用于理解长视频，提出了 MovieChat，实现了长视频理解的最新性能，并发布了包含 1K 个长视频、2K 个时序对齐标注和 14K 个手动注释验证方法有效性的 MovieChat-1K 基准。

    Apr, 2024

  • 多模态理解排行榜：文本与图像

    Multi 是一种多模态大型语言模型（MLLMs）的先进基准测试，提供了综合数据集，用于评估 MLLMs 在理解复杂图表、科学问题等方面的表现，并挑战包括公式推导、图像细节分析和跨模态推理在内的多样任务。评估结果表明，MLLMs 在 Multi 上取得了显著的进展，与其他 MLLMs 相比，GPT-4V 的准确率达到了 63.7%，Multi 不仅是一个强大的评估平台，也为专家级 AI 的发展铺平了道路。

    Feb, 2024

  • 多模态大型语言模型对视频片段检索的惊人有效性

    利用图像 - 文本预训练的多模态大语言模型（MLLMs）进行时刻检索，获得了令人惊讶的有效性，并且在时刻检索和时序动作定位任务上实现了最新的性能。

    Jun, 2024

  • LiteVL：增强空间 - 时间建模的高效视频 - 语言学习

    本文提出 LiteVL 模型，结合 BLIP 图像语言模型，通过使用动态时态缩放，给图像编码器添加时间注意力模块，并提出非参数池化机制，以自适应地重新加权文本条件下的细粒度视频嵌入，取得了良好的性能，即使没有进行任何视频 - 语言预训练。

    Oct, 2022

  • 利用多任务学习获取多模态视频问答的额外监督

    该研究提出通过多任务学习获得额外监督的方法，解决多模态视频问答建立大规模数据集昂贵且现有基准数据集较小的挑战。该方法由多模态视频问答网络、时间检索网络和模态对齐网络组成，通过层次共享中间层同时解决相关的辅助任务提供额外的协同监督，并提出多任务比率调度的方法进行训练。实验结果表明，该方法在公开数据集 TVQA 上实现了最先进的效果。

    May, 2019