Jan, 2024

高精度语音搜索查询纠错通过可检索的语音 - 文本嵌入

PDF
TL;DR通过使用多模式语音文本嵌入网络，从语音文本数据库中直接查询校正候选项，以消除音频 - 假设不匹配问题，并在将候选项添加到原始候选列表之前使用语音 - 文本嵌入距离对候选项进行评分，该方法在改善检索率的同时，降低了相对的词错误率（WER）。
automatic speech recognitionasr systemsrecall improvementmultimodal speech-text embedding networksword error rate reduction
发现论文，激发创造
  • 口语问答中语音识别误差对文本检索的影响

    研究了语音接口与问答系统交互过程中的问题，使用数据增强技术来探究自然语音识别噪音对信息检索的影响。结果表明，自然语音识别噪音会对信息检索产生负面影响，提出使用数据增强来解决这个问题。

    Sep, 2022

  • 端到端 ASR 适应的即时文本检索

    本文提出一种在已有的 ASR 模型中添加检索语言模型，以直接从外部文本语料库中检索可能的完成语来改善模型性能，并使用适配器将这些完成语集成到后续的预测中，避免了重新训练的计算开销。该模型在问答数据集和特定领域命名实体识别等任务上表现均优于现有的浅层融合方法。

    Mar, 2023

  • Hypr: ASR 假设修订的全面研究与参考文献

    通过发布 ASR 假设修正（HypR）数据集和对几种经典的代表性方法进行实现和比较，展示了修正语音识别结果的最新研究进展，希望这些公开可用的 HypR 数据集能够成为进一步研究的参考基准，并推动相关研究领域的发展。

    Sep, 2023

  • 基于 ASR 转录的语音情感识别：关于词误率和融合技术的全面研究

    使用不同词错误率（WERs）的 ASR 转录对 IEMOCAP，CMU-MOSI 和 MSP-Podcast 等已知语料库进行 SER 性能评估，同时提出了一个统一的 ASR 错误抗干扰框架，并与最佳表现的 ASR 转录进行比较，实现了更低的 WER 和更高的 SER 结果，为 SER 与 ASR 协助的研究提供了洞见。

    Jun, 2024

  • 利用语义距离度量评估用户对语音识别系统质量的感知

    本研究提出使用使用预训练语言模型提取参考和假设的语义向量之间的距离来衡量 ASR 输出假设的语义正确性，实验结果表明，SemDist 比 WER 更能与用户感知相一致，并且比 WER 更能与下游的自然语言理解任务相一致。

    Oct, 2021

  • 自发对话中的标点预测：我们能否使用修正后的单词嵌入减缓 ASR 错误？

    本研究提出了一种使用领域特定数据的词嵌入法来改善 ASR 系统引入的同音词误差对标点预测的影响，并在标点预测任务中实验证明其可降低同音词误差带来的影响，相较最先进模型，在句号等标点预测准确率上提升达 9%。

    Apr, 2020

  • 语义网络重新评分提升自动语音识别系统的上下文识别能力

    我们提出了一种新方法，在自动语音识别系统中通过语义格处理利用深度学习模型来提高上下文识别的能力，从而准确地递交准确的转录结果，涵盖广泛的词汇和说话风格。我们在隐藏马尔可夫模型和高斯混合模型以及深度神经网络模型上融合语言和声学建模，通过使用基于 Transformer 的模型对单词格进行重新评分，实现了显著的性能提升和词错误率的明显降低，在 LibriSpeech 数据集上进行了实证分析，证明了我们提出的框架的有效性。

    Oct, 2023

  • SpellMapper：基于 n-gram 映射的 ASR 自定义非自回归神经拼写检查器

    使用新颖的基于拼写错误 n-gram 映射的候选检索算法和 BERT 架构的非自回归神经模型，相较于基线 ASR 系统，在口语化维基百科上的实验显示，字错误率提高了 21.4％。

    Jun, 2023

  • 基于语音和文本数据的音位结构学习，较少资源近乎无监督的语音识别

    利用音频字向量和自编码器实现跨模态的语音识别，演示了即使缺乏训练数据，也可以从少量音频和文本之间的嵌入对齐中进行 ASR 系统的训练。

    Oct, 2018

  • FastCorrect: 使用编辑对齐技术的快速音频语音识别错误纠正

    本文提出了一种基于编辑对齐的新型非自回归 (NAR) 自动语音识别 (ASR) 误差校正模型 FastCorrect，其将 ASR 输出语句的源词元素对齐到对应的地面真值句子的目标词元素，并根据编辑距离提取出每个源词元素对应的目标词个数，用于训练长度预测器及调整源词以进行并行生成，实验证明快速校正可以大大提高 ASR 的纠错速度，并且相比于前人的自回归校正模型和常用 NAR 模型有着更好的表现。

    May, 2021