Sep, 2023

MSG-BART: 视频情景增强的多粒度编码器 - 解码器语言模型用于基于视频的对话生成

PDF
TL;DR提出了一种名为 MSG-BART 的新方法，通过将多粒度时空场景图集成到编码器 - 解码器预训练语言模型中，增强了视频信息的整合，改进了整体感知和目标推理能力，进一步提高了信息选择能力。在三个视频对话基准测试上进行了广泛的实验，表明 MSG-BART 相比一系列最先进的方法具有显著的优势。
dialogue grounded in videosvisual scenesspatio-temporal relationship reasoningmsg-bartmulti-granularity spatio-temporal scene graph
发现论文，激发创造
  • 利用预训练生成语言模型的视频对话

    本文提出了一种基于 GPT-2 模型的框架，将视频与文本表示结合成连续、有结构的序列，并利用其 fine-tuning 能力来解决视频对话中的挑战，从而在 Audio-Visual Scene-Aware Dialogues 基准测试中取得了显著的改进。

    Jun, 2020

  • 用于端到端视频对话系统的多模态 Transformer 网络

    本研究提出了一种使用多模态转换网络（MTN）来编码和整合不同模态信息的视频对话系统。在对话生成过程中，我们提出了一个训练程序来模拟标记级解码，从而提高了生成响应的质量。我们在 DSTC7 上获得了最优秀的表现，并且我们的模型具有很好的泛化性能。

    Jul, 2019

  • 用于视频理解的统一图结构模型

    本文提出了一种基于信息传递的图神经网络，能够精确理解视频中行为者、对象和环境之间的关系，在显式表示对象时能够使用显式表示，否则使用隐含表示；在 AVA 和 UCF101-24 的时空行为检测以及最近的 Action Genome 数据集上的视频场景图分类等任务中，实现了最先进的结果，我们定量和定性的显示了我们的方法如何更有效地模拟场景中相关实体之间的关系。

    Mar, 2021

  • 视频对话生成中的多模态语义图协同推理

    本文研究了基于视频对话生成，提出一种方法，可以将视频数据集成到预训练语言模型中，通过多模态推理实现各种模态之间的互补信息，实验结果表明，该模型能够在自动和人工评估方面显著优于现有的最先进模型。

    Oct, 2022

  • 基于熵增强的多模态注意力模型用于场景感知对话生成

    本研究提出了熵增强动态内存网络 (DMN) 以有效地对视频模态建模，并应用基于注意力的 GRU 来提高模型理解和记忆序列信息的能力，从而生成对于视频问答问题精确的回答。在官方评估中，我们的系统在主观和客观评估指标上均能实现比已发布的基准模型更好的性能。

    Aug, 2019

  • KG-BART: 生成通识推理的知识图谱增强 BART 模型

    通过加入知识图谱，KG-BART 提出一种新颖的预训练语言生成模型，以增强通用常识推理的能力，提高生成的句子的逻辑性和自然度，并通过 CommonGen 数据集取得了显著的效果提升，可作为后续社区感知 QA 任务的场景背景。

    Sep, 2020

  • 知识图谱支持的篮球基准测试和视频字幕

    提出了一个用于视频字幕的新的多模态篮球知识支持基准，通过构建多模态篮球比赛知识图谱，将视频中的时间信息编码并推荐识别关键球员，以提升篮球直播字幕的质量。

    Jan, 2024

  • 多模态图神经网络用于视觉场景联合推理

    利用多模式图神经网络（MM-GNN）作为一种视觉问答（VQA）方法，通过将图像表示为由三个子图组成的图形，利用场景文本中的各种信息来提高节点特征，从而显著提高需要阅读场景文本的两项 VQA 任务的性能。

    Mar, 2020

  • KM-BART：用于视觉常识生成的知识增强多模态 BART 模型

    研究人员提出了一种称为 KM-BART 的知识增强的多模态序列到序列模型，可以从图像和文本的多模态输入中推理出常识知识，进而开发了新的预训练任务来提高模型在视觉常识生成任务中的性能，实验结果表明通过这些新的预训练任务，我们的模型在 VCG 任务上达到了最先进的性能水平。

    Jan, 2021

  • GL-RG: 视频字幕生成中的全局与局部表示层级

    本文提出了一种全局 - 局部表示粒度框架（GL-RG）来生成视频字幕，通过显式利用来自不同视频范围的丰富视觉表示，设计了一个新颖的全局 - 局部编码器来产生丰富的语义词汇，以获得帧间视频内容的描述性粒度，采用增量训练策略组织模型学习，实验结果表明 GL-RG 在 MSR-VTT 和 MSVD 数据集上的性能显著优于最近的最先进方法。

    May, 2022