audio-visual scene-aware dialog | BriefGPT

关键词audio-visual scene-aware dialog

搜索结果 - 5

使用视听 Transformer 进行场景感知对话和推理，并进行联合师生学习
本文介绍了第三个 AVSD 挑战赛，其包括时间推理的任务和新的数据集，在这个数据集中，人类生成了时间推理数据。文章提出了基于 AV-transformer 的基线系统，并通过注意力多模态融合、联合师生学习和模型组合技术扩展了基线系统，提高了
PDF3 years ago
AAAIDSTC8 AVSD 挑战赛的多模态指针网络 Transformer
使用点积注意力结合文本和非文本特征的输入视频信息以及采用多源序列的指针网络来增强生成对话代理能力，从而在自动度量中取得高性能，在人类评估中获得第五和第六名。
PDF4 years ago
AAAI文本和视频的桥梁：用于视频音频场景感知对话的通用多模态 Transformer
该研究提出了一种通用的多模态转换器，并引入了多任务学习的方法，以解决视频聊天中的音视频场景感知对话生成任务，并将自然语言生成预训练模型扩展到多模态对话生成任务。我们的系统在该挑战中取得了最佳表现。
PDF4 years ago
CVPR音频 - 视觉场景感知对话的简单基线
本文提出了一种基于数据驱动学习的音视频感知对话基准方法，采用注意力机制从海量传感器中区分实用信号和干扰信号，实验结果表明此方法在音视频感知数据集中性能超过现有最先进方法 20% 以上。
PDF5 years ago
AAAI从 FiLM 到视频：多模态背景下的多轮问答
通过 AVSD 挑战，本文提出了一种层次化编码 - 解码模型来回答有关视频的问题，采用预训练的 I3D 和 VGGish 模型计算视频及音频帧的语义特征，并使用 FiLM 块进行条件编码以降低维数，最终使用 LSTM 解码器通过计划采样进行
PDF6 years ago