Sep, 2022

口语问答中语音识别误差对文本检索的影响

PDF
TL;DR研究了语音接口与问答系统交互过程中的问题，使用数据增强技术来探究自然语音识别噪音对信息检索的影响。结果表明，自然语音识别噪音会对信息检索产生负面影响，提出使用数据增强来解决这个问题。
speech interfacequestion answeringautomatic speech recognitionpassage retrievaldata augmentation
发现论文，激发创造
  • SpeechDPR: 开放领域口语问答的端到端口语段落检索

    提出基于语音密集检索器 (SpeechDPR) 的端到端框架，用于 Open-domain SQA 问题的检索组件，通过从无监督 ASR (UASR) 和文本密集检索器 (TDR) 的级联模型中提取知识来学习句子级语义表示，初步实验表明该方法在语音识别错误较大时表现更为鲁棒。

    Jan, 2024

  • 通过对抗域适应缓解语音识别误差对口语问答的影响

    该研究提出利用对抗模型来适应 ASR 错误，减少其对口语问答系统的影响，实验证明其效果优于之前的最佳模型。

    Apr, 2019

  • 高精度语音搜索查询纠错通过可检索的语音 - 文本嵌入

    通过使用多模式语音文本嵌入网络，从语音文本数据库中直接查询校正候选项，以消除音频 - 假设不匹配问题，并在将候选项添加到原始候选列表之前使用语音 - 文本嵌入距离对候选项进行评分，该方法在改善检索率的同时，降低了相对的词错误率（WER）。

    Jan, 2024

  • 具有 ASR 错误的对话式交互中的稳健非结构化知识访问

    该研究的主要目的是通过使用自动语音识别 (ASR) 中的错误模拟器实现对清洁训练文本进行随机破坏，从而提高口头语言理解 (SLU) 的鲁棒性，结果表明该方法可以显著提高知识选择及分类产生的结果。

    Nov, 2022

  • 训练对话模型以更好地处理语音识别错误的数据增强

    本文探讨了通过数据增强的方法，将 ASR 的噪声注入到对话模型的训练数据中，以提高虚拟助手的稳定性。

    Jun, 2020

  • NoiseQA: 以用户为中心的问答挑战数据集评估

    本文研究 Question-Answering 系统在实际部署中的问题，发现在回答引擎之前的管道部件可能会引入多样化且可观的错误，而且即使是针对强大的预训练 QA 模型，性能也会因为这些上游噪声源而显著降低。作者认为在 QA 系统能够真正有效部署之前，还有很大的改进空间。因此，他们强调 QA 评估需要扩展到考虑实际使用情况，并希望他们的研究结果能引起更广泛的关注。

    Feb, 2021

  • 缓解问题回答中的噪声输入

    通过在 500,000 个有噪声的句子的合成语料库中训练，并在多个语料库中进行评估，研究和减轻来自自动语音识别系统的噪声对几个问题回答任务的影响，并利用模型的置信度集成和对未知单词进行强制解码，从而提高了下游神经网络 QA 系统的准确性。

    Aug, 2019

  • 领域定向合成问题生成进行零样本神经网络段落检索

    通过合成问题生成技术缩小了零样本训练模型与基于术语技术模型之间的差距，提高了针对特定领域的文档的检索效果。

    Apr, 2020

  • 基于上下文关注机制的口语会话问答知识转移

    该研究提出了一种名为 CADNet 的方法，该方法使用上下文化注意力分层蒸馏技术，从而在 SCQA 任务中更好地抵御 ASR 噪声，最终在 Spoken-CoQA 数据集上实现了显著性能提升。

    Oct, 2020

  • 端到端 ASR 适应的即时文本检索

    本文提出一种在已有的 ASR 模型中添加检索语言模型，以直接从外部文本语料库中检索可能的完成语来改善模型性能，并使用适配器将这些完成语集成到后续的预测中，避免了重新训练的计算开销。该模型在问答数据集和特定领域命名实体识别等任务上表现均优于现有的浅层融合方法。

    Mar, 2023