提出了一种新的口语会话问答任务（SCQA），旨在使系统能够模拟复杂的对话流程，以便处理音频记录中的对话式问题，并探索从不同模态提供更多线索，通过 DDNet 方法有效地摄取跨模态信息以实现语音和语言模态的细粒度表示，并通过双向关注机制鼓励更好的音频和文本之间的对齐，以简化知识转移过程。通过 Spoken-CoQA 数据集，证明了跨模态信息融合的必要性，同时证明了提出的方法在口语会话问答任务中具有卓越的性能表现。

Apr, 2022

本文提出了一种多任务联合训练的端到端语音理解模型 “Audio-Text All-Task (AT-AT) Model”，该模型能够同时训练语音转文字、语音理解和文本理解任务，不仅可以在多个数据集上实现最优性能，还可用于零 - shot 端到端语音理解任务。

Dec, 2020

本研究提出了一个名为 BeamSearchQA 的新型问题回答管道，它通过使用大型语言模型迭代地生成关于原始问题的新问题，从而启用一个迭代推理过程，以便更好地捕捉和利用隐藏知识。实验结果表明，BeamSearchQA 明显优于其他零 - shot 基线，在处理开放性领域问题回答方面具有很强的有效性。

May, 2023

该研究提出了一种基于音频和文本联合训练的 SpeechBERT 模型，通过端对端地提取语音信息，解决了端到端口语问答任务中音频转换文本出现的问题，并且在包括 ASR 错误的数据集中表现出优异的性能。该模型可以为许多口语理解任务提供潜在的借鉴，其效果优于传统的级联 ASR 和 TQA 模型的方法。

Oct, 2019

通过提出一个轻量级、端到端的框架并改进音频识别任务，本研究展示了大规模语言模型（LLMs）在处理多模态功能方面的能力，尤其是对于口语问答任务（SQA）的需求，以及语音和文本特征之间的精确对齐和深入交互。

Aug, 2023

近期关于口语问答方面的研究表明，最新的端到端模型在提问回答方面取得了显著的进展，尤其是在提取性问题的选择上。然而，先前的研究主要集中在提取性问题上，这种基于提取的方法在直接提取答案的情况下是有效的，但在涉及抽象问题且答案不可直接提取的情况下则存在不足。为了弥补这一差距，我们首次引入了第一个端到端生成式口语问答模型（GSQA），以增强系统的抽象推理能力。我们的 GSQA 模型训练的挑战在于缺乏口语抽象问答数据集。我们建议使用文本模型进行初始化，并利用基于提取的问答数据集将文本生成模型的知识转移到口语生成模型上。实验结果表明，我们的模型在基于提取的问答数据集上的性能超过了先前的提取性模型 3％。此外，GSQA 模型仅在口语提取性问答数据集上进行了微调。尽管没有见过任何口语抽象问答数据，它仍然能够与级联模型的性能高度匹配。总而言之，我们的 GSQA 模型展示了到广泛问题范围的泛化潜力，从而进一步扩展了抽象问答的口语问答能力。

Dec, 2023

本文介绍了一种基于可预训练的差分可训练模型和使用 Transformer 的层次化系统的语音识别模型，旨在提高其在商用语音助理中的应用性能。实验表明，与基准系统相比，在一些神经网络模型和数据集之上达到了较好的表现。在对数据进行了重新标注并进行了人工评估后，本文提出的方法的语义准确率得到了大幅提高，这显示出本文提出的方法在商用语音助理中的应用价值。

Jun, 2021

该文提出了采用离散口语单元自适应学习（DUAL）方法，旨在解决当问答任务涉及到名称实体或生僻单词时，仍然能够从口语文本中获取正确答案的问题，同时发布了适用于更真实场景的新的 SQA 基准语料库 NMSQA。

Mar, 2022

本研究提出了一种新的口头对话问答任务，能够使问答系统对给定的语音话语和文本语料库建模，其中使用了新的统一数据精炼方法 DDNet 直接融合音频文本特征以减少语音识别错误率，同时运用 Spoken-CoQA 数据集评估系统的对话式互动能力，并在实验中取得了优异的性能表现。

Oct, 2020

该研究论文介绍了端到端自动语音识别模型的分类和改进，讨论了它们对传统隐马尔科夫模型的影响，涵盖了模型、训练、解码和外部语言模型集成等各个方面，同时讨论了性能和部署机会以及未来的发展前景。

Mar, 2023