Jun, 2021

MERLOT: 多模态神经脚本知识模型

PDF
TL;DRMERLOT 是一个模型，通过观看数百万个 YouTube 视频进行自我监督的无标签学习，学习多模态脚本知识，包括空间和时间和语境化的全局情况，从而在视觉场景中推理动态情境，形成出色的时间常识和现场表现，并在视觉常识推理方面表现出色。
multimodal reasoningmerlottemporal commonsensevideo qa datasetsvisual reasoning
发现论文，激发创造
  • MERLOT Reserve: 通过视觉、语言和声音获得神经剧本知识

    介绍了一种多模态预训练模型 MERLOT Reserve，该模型在预训练时利用音频、字幕和视频帧一起学习，可以实现强大的多模态表示，并在一些视频任务上取得了领先水平，提出了音频为何能够提高视觉 - 语言表示的可能性，并讨论了这种多模态预训练的伦理和社会影响。

    Jan, 2022

  • 魔法后的 MERLIM: 大型图像 - 语言模型的多模态评估基准

    本文介绍了一个名为 MERLIM 的多模式评估基准，用于评估 IT-LVLM 在基本计算机视觉任务中的表现，发现先进的 IT-LVLM 仍然有限于识别精细的视觉概念，对象幻觉在各种任务中普遍存在，而且结果受输入查询的细微变化的强烈偏见影响，即使查询具有相同的语义。研究结果还表明，这些模型在视觉基础上较弱，但仍然可以通过全局视觉模式或 LLM 组件中的文本偏见进行恰当的猜测。

    Dec, 2023

  • 视频对话生成中的多模态语义图协同推理

    本文研究了基于视频对话生成，提出一种方法，可以将视频数据集成到预训练语言模型中，通过多模态推理实现各种模态之间的互补信息，实验结果表明，该模型能够在自动和人工评估方面显著优于现有的最先进模型。

    Oct, 2022

  • WorldQA：通过长链推理在视频中实现多模态世界知识

    多模态信息和知识对我们理解复杂动态的世界至关重要。本文介绍了一个名为 WorldQA 的视频理解数据集，旨在推动多模态世界模型的发展，并通过引入多种观点挑战模型的能力。通过 WorldRetriever，介绍了一种将专家知识综合整理为连贯推理链条的方法，以便准确回答 WorldQA 的问题。研究还发现了多个关键见解，其中包括模型的推理和理解能力的进一步发展的必要性。希望 WorldQA、方法学以及这些见解可以为多模态世界模型的未来发展做出贡献。

    May, 2024

  • Socratic 模型：用语言组成零样本多模态推理

    本文提出了 Socratic Models（SM）框架，该框架可用于将多个大型预训练模型组合为一体，以实现对多模式数据的交换和新的多模式应用成果。

    Apr, 2022

  • 超越语言：从图片中学习常识进行推理

    本文提出了一种从图像中学习常识的新方法，利用双模态序列到序列模型进行场景布局生成任务，并在通感问题回答和代词消解领域实验中证明了新方法的有效性。

    Oct, 2020

  • 视频中时序句子定位和事件字幕生成的学习模态交互

    通过跨模态交互学习，以更好地利用视频中每组模态之间的互补信息来提高事件字幕生成和时间句子定位任务的性能，从而在四个标准基准数据集上取得了最先进的性能。

    Jul, 2020

  • 多模式检索增强生成式常识推理

    提出了一种新颖的多模式检索 (MORE) 增强框架，利用文本和图像来增强语言模型的常识能力。在 Common-Gen 任务上的大量实验表明，MORE 基于单一和多模态的预训练模型具有较高的效果。

    Feb, 2024

  • 多模视觉监督对语言有益吗？

    本文探讨和研究使用视觉监督学习的语言表示相对于常规语言表示对自然语言理解和常识推理基准测试的优劣，并根据多个图文模型和视频文本模型的实验结果发现，常规语言表示在多数任务中表现更好，揭示了视觉 - 语言模型当前的缺陷。

    Feb, 2023

  • 端到端多模式视频时间定位

    本文提出了一种基于多模态框架的文本指导视频时间地基方法，采用 RGB 图像、光流和深度图来提取视频的补充信息并通过 transformers 设计动态融合方案进行交互学习，在 Charades-STA 和 ActivityNet Captions 数据集上实验表明，该方法表现优越。

    Jul, 2021