May, 2023

基于注意力机制的音频问答方法

PDF
TL;DR本文提出了基于自注意力和交叉注意力的神经网络体系结构，用于 Audio Question Answering (AQA) 任务，分别提取强大的音频和文本表示，并获得优于参考方法的结果，同时讨论了 Clotho-AQA 数据集中的一些挑战并给出了修改版本。
audio question answeringneural networkself-attentioncross-attentionclotho-aqa dataset
发现论文，激发创造
  • 音频问答的多尺度关注

    本篇研究提出了一种多尺度窗口注意力融合模型，通过异步混合注意力模块和多尺度窗口注意力模块，提高了音频场景理解中的时间推理能力。

    May, 2023

  • 基于上下文关注机制的口语会话问答知识转移

    该研究提出了一种名为 CADNet 的方法，该方法使用上下文化注意力分层蒸馏技术，从而在 SCQA 任务中更好地抵御 ASR 噪声，最终在 Spoken-CoQA 数据集上实现了显著性能提升。

    Oct, 2020

  • 端到端口语对话问答：任务，数据集和模型

    提出了一种新的口语会话问答任务（SCQA），旨在使系统能够模拟复杂的对话流程，以便处理音频记录中的对话式问题，并探索从不同模态提供更多线索，通过 DDNet 方法有效地摄取跨模态信息以实现语音和语言模态的细粒度表示，并通过双向关注机制鼓励更好的音频和文本之间的对齐，以简化知识转移过程。通过 Spoken-CoQA 数据集，证明了跨模态信息融合的必要性，同时证明了提出的方法在口语会话问答任务中具有卓越的性能表现。

    Apr, 2022

  • AQUALLM：利用大型语言模型生成音频问答数据

    这篇研究论文介绍了一种基于大型语言模型的可伸缩的 AQA 数据生成流程 (AQUALLM 框架)，利用现有的音频描述注释并结合最先进的语言模型生成了丰富、高质量的 AQA 数据集，同时提供了三个广泛和高质量的 AQA 基准数据集，该框架和数据集推动了 AQA 研究的进展，并且所训练的模型在性能上优于现有的最先进模型，而且相比人工注释的训练数据，本数据集上训练的模型表现出更强的泛化能力。

    Dec, 2023

  • 改进的视觉问答注意力机制

    本文提出了一种改进的基于注意力机制的架构，其中包括一个对注意力结果和查询进行关系确定的 AoA 模块，并提出了多模态融合模块来组合视觉和文本信息，结果在 VQA-v2 基准数据集上达到了最先进的性能。

    Nov, 2020

  • 基于音频问答的时间推理

    本研究使用音频问题回答（Audio Question Answering，AQA）任务研究机器学习模型的时间推理能力，并提出 Multiple Auxiliary Controllers for Linear Modulation（MALiMo），一种扩展的 Feature-wise Linear Modulation（FiLM）模型，显著提高了其时间推理能力。

    Nov, 2019

  • 一种上下文感知的交互问答注意力网络

    该研究开发了一种基于上下文依赖词级别注重和问题引导的句子级别注意力的新型模型，以更准确地理解文本，加强上下文建模，可以在交互式问答场景中处理不完整或模糊信息，大大提升了传统 QA 模型的表现。

    Dec, 2016

  • 面向端到端口语问答的数据蒸馏技术

    本研究提出了一种新的口头对话问答任务，能够使问答系统对给定的语音话语和文本语料库建模，其中使用了新的统一数据精炼方法 DDNet 直接融合音频文本特征以减少语音识别错误率，同时运用 Spoken-CoQA 数据集评估系统的对话式互动能力，并在实验中取得了优异的性能表现。

    Oct, 2020

  • 注意力机制：视觉问答架构（VQA）

    通过开发十三种新的注意力机制和引入一种简化的分类器，基于首次在 VQA 挑战中获得第一名的模型进行改进，进行了 300 GPU 小时的大量超参数和架构搜索，我们能够实现 64.78％的评估分数，优于现有最先进的单个模型 63.15％的验证分数。

    Mar, 2018

  • 在动态音视频场景中学习回答问题

    本文研究了 Audio-Visual Question Answering（AVQA）任务，提出了一个包含超过 45K 个问题 - 答案对的 MUSIC-AVQA 数据集并使用多模态知识和视听场景的时空推理来解决该问题，结果表明我们的方法优于现有的 A-V 和 AVQA 方法。

    Mar, 2022