Mar, 2022

DUAL：用于无文本口语问答的离散口语单位自适应学习

PDF
TL;DR该文提出了采用离散口语单元自适应学习（DUAL）方法，旨在解决当问答任务涉及到名称实体或生僻单词时，仍然能够从口语文本中获取正确答案的问题，同时发布了适用于更真实场景的新的 SQA 基准语料库 NMSQA。
spoken question answeringautomatic speech recognitiondiscrete spoken unit adaptive learningnmsqaunlabeled data
发现论文，激发创造
  • 端到端口语对话问答：任务，数据集和模型

    提出了一种新的口语会话问答任务（SCQA），旨在使系统能够模拟复杂的对话流程，以便处理音频记录中的对话式问题，并探索从不同模态提供更多线索，通过 DDNet 方法有效地摄取跨模态信息以实现语音和语言模态的细粒度表示，并通过双向关注机制鼓励更好的音频和文本之间的对齐，以简化知识转移过程。通过 Spoken-CoQA 数据集，证明了跨模态信息融合的必要性，同时证明了提出的方法在口语会话问答任务中具有卓越的性能表现。

    Apr, 2022

  • 自监督对比跨模态表示学习用于口语问答

    本文提出了基于自监督和对比表示学习的新型语音问答培训方案，采用多元增广策略以及时间对齐注意来更有效地指导生成模型，实现最佳答案预测解决方案，在三个 SQA 基准测试上取得了最新成果。

    Sep, 2021

  • 面向端到端口语问答的数据蒸馏技术

    本研究提出了一种新的口头对话问答任务，能够使问答系统对给定的语音话语和文本语料库建模，其中使用了新的统一数据精炼方法 DDNet 直接融合音频文本特征以减少语音识别错误率，同时运用 Spoken-CoQA 数据集评估系统的对话式互动能力，并在实验中取得了优异的性能表现。

    Oct, 2020

  • 口语问答自学习的自监督对话学习

    本研究通过自监督学习方式，包括不连贯性识别，插入检测以及问题预测，明确捕捉口语对话文档之间的指代消解和对话连贯性，提高了口语对话的意义和连贯性。在 Spoken-CoQA 数据集上取得了最先进的结果。

    Jun, 2021

  • SpeechDPR: 开放领域口语问答的端到端口语段落检索

    提出基于语音密集检索器 (SpeechDPR) 的端到端框架，用于 Open-domain SQA 问题的检索组件，通过从无监督 ASR (UASR) 和文本密集检索器 (TDR) 的级联模型中提取知识来学习句子级语义表示，初步实验表明该方法在语音识别错误较大时表现更为鲁棒。

    Jan, 2024

  • LibriSQA：以新颖的数据集和框架进行自由形式和开放式口语问答的先驱

    通过提出一个轻量级、端到端的框架并改进音频识别任务，本研究展示了大规模语言模型（LLMs）在处理多模态功能方面的能力，尤其是对于口语问答任务（SQA）的需求，以及语音和文本特征之间的精确对齐和深入交互。

    Aug, 2023

  • 基于上下文关注机制的口语会话问答知识转移

    该研究提出了一种名为 CADNet 的方法，该方法使用上下文化注意力分层蒸馏技术，从而在 SCQA 任务中更好地抵御 ASR 噪声，最终在 Spoken-CoQA 数据集上实现了显著性能提升。

    Oct, 2020

  • 面向现实世界的口语方言问答

    本文介绍了一个针对多个语言方言创建的语音问答数据集，分析了语音识别错误和方言对问答系统性能的影响，并且研究了不同用户群体的公平性问题。

    Sep, 2021

  • ODSQA: 开放领域口语问答数据集

    本文介绍一个包含超过三千个问题的开放领域口语问答数据集，研究发现自动语音识别误差对于口语问答有灾难性影响，本文提出将子词单元用于缓解该问题，同时通过对基于文本问答的训练样本进行数据扩增，提高了口语问答的表现。

    Aug, 2018

  • SpeechBERT：一个用于端到端口语问答的音频和文本联合学习语言模型

    该研究提出了一种基于音频和文本联合训练的 SpeechBERT 模型，通过端对端地提取语音信息，解决了端到端口语问答任务中音频转换文本出现的问题，并且在包括 ASR 错误的数据集中表现出优异的性能。该模型可以为许多口语理解任务提供潜在的借鉴，其效果优于传统的级联 ASR 和 TQA 模型的方法。

    Oct, 2019