Oct, 2021

使用视听 Transformer 进行场景感知对话和推理，并进行联合师生学习

PDF
TL;DR本文介绍了第三个 AVSD 挑战赛，其包括时间推理的任务和新的数据集，在这个数据集中，人类生成了时间推理数据。文章提出了基于 AV-transformer 的基线系统，并通过注意力多模态融合、联合师生学习和模型组合技术扩展了基线系统，提高了 AVSD 数据集的性能，同时提出了两种 AVSD 的时间推理方法：一种是基于注意力的，一种是基于时间域的区域建议网络。
audio-visual scene-aware dialogavsd datasettemporal reasoningav-transformermultimodal fusion
发现论文，激发创造
  • 基于 Transformer 的视频表示的视听场景感知对话生成

    本研究探讨使用 Transformer-based 视频特征提取器在 Audio Visual Scene-Aware Dialog（AVSD）中解决长期时间视觉依赖和全局视觉信息的问题，并在答案生成方面取得了更高的目标性能评分。

    Feb, 2022

  • DSTC8 AVSD 挑战赛的多模态指针网络 Transformer

    使用点积注意力结合文本和非文本特征的输入视频信息以及采用多源序列的指针网络来增强生成对话代理能力，从而在自动度量中取得高性能，在人类评估中获得第五和第六名。

    Feb, 2020

  • DSTC7 的音视频场景感知对话（AVSD）竞赛

    该研究论文介绍了一种基于多个研究领域的技术相互整合的新型场景感知对话系统，同时提出了基于音视频的场景感知对话系统 (AVSD) 挑战与数据集，该挑战要求参赛者构建一个能够对输入视频进行对话响应的系统。

    Jun, 2018

  • DSTC8-AVSD：多模态语义 Transformer 网络及检索式词汇生成器

    提出了一种多模态语义变形器网络，基于注意力词嵌入层的变形器架构和查询单词嵌入层生成单词。该模型在 AVSD 任务中取得了优异的表现。

    Apr, 2020

  • 文本和视频的桥梁：用于视频音频场景感知对话的通用多模态 Transformer

    该研究提出了一种通用的多模态转换器，并引入了多任务学习的方法，以解决视频聊天中的音视频场景感知对话生成任务，并将自然语言生成预训练模型扩展到多模态对话生成任务。我们的系统在该挑战中取得了最佳表现。

    Feb, 2020

  • 视听场景感知对话

    本论文介绍了场景感知对话任务，通过视频和音频研究场景，并在对话历史中利用上下文线索，以回答关于场景的问题；同时提出了 AVSD 数据集，并通过多项定量和定性指标评估了基础模型的表现，结果表明模型必须充分利用所有可用输入（视频、音频、问题和对话历史）才能在该数据集上取得最佳表现。

    Jan, 2019

  • 通过数据增强的问答方法进行多模态对话状态跟踪

    文章提出了一个基于多模态融合和注意力机制的开放域问答系统，用于解决 Audio-Video Scene-Aware Dialogue（AVSD）任务，结果表明基于问答假设的数据增广技术和模型均能在 DSTC7-AVSD 数据集上带来显著的改进。

    Jul, 2020

  • 面向场景感知对话系统的多步骤多模态注意力网络

    本文提出了一种基于循环神经网络的多步关注机制的多模态联合注意网络（JMAN），用于对视频进行推理，该模型在每个推理过程中联合考虑了视觉和文本表示，以更好地集成两种不同模态的信息。与 AVSD 组织发布的基线相比，我们的模型在 ROUGE-L 得分和 CIDEr 得分上相对提高了 12.1％和 22.4％。

    Jan, 2020

  • 从 FiLM 到视频：多模态背景下的多轮问答

    通过 AVSD 挑战，本文提出了一种层次化编码 - 解码模型来回答有关视频的问题，采用预训练的 I3D 和 VGGish 模型计算视频及音频帧的语义特征，并使用 FiLM 块进行条件编码以降低维数，最终使用 LSTM 解码器通过计划采样进行训练和束搜索进行评估，相比于 AVSD 挑战组织者发布的模态融合基准模型，我们的模型实现了超过 16％的相对改善，得分为 0.36 BLEU -4，超过 33％的得分为 0.997 CIDEr。

    Dec, 2018

  • 多模态洗牌变换器的视频对话动态图表示学习

    本研究介绍了一种语义控制的多模态 Shuffled Transformer 推理框架，它包括一系列 Transformer 模块，用于解决 AVSD 任务中的多模态学习和推理，并提出了一种新型的动态场景图表示学习方法。实验结果表明，该模型在所有度量标准上均取得了最先进的性能。

    Jul, 2020