Jan, 2024

超越受控环境：评估 ASRRobust NLU 模型在实际应用中的可移植性

PDF
TL;DR该研究通过智能家居自动化指令在乌尔都语中考察了自动语音识别（ASR）鲁棒的自然语言理解（NLU）模型从受控实验条件到实际应用的可迁移性，并评估了模型在不同噪声环境、语言变化和 ASR 错误场景下的性能。利用乌尔都 BERT 模型，研究采用了系统的方法论，包括实际数据收集、交叉验证、迁移学习、噪声变化研究和领域适应。评估指标涵盖特定任务的准确性、延迟、用户满意度和对 ASR 错误的鲁棒性。研究结果揭示了 ASR 鲁棒的 NLU 模型在超越受控环境方面所面临的挑战和适应性。
发现论文，激发创造
  • 自动语音识别多语言模型综述

    该论文研究了基于跨语言转移的多语种自动语音识别模型的最新进展和最佳实践，并探讨了未来的研究方向和建议。

    Feb, 2022

  • 利用跨句上下文和多任务语言建模进行电子商务聊天机器人的语音识别适应

    本文探讨了改进 Transformer-XL NLM 以重评 ASR N-best 提示的各种技术，包括利用上下文化、域自适应和多任务模型等方面；结果显示，模型的性能明显优于 LSTM LM 基准模型。

    Jun, 2021

  • ASR-GLUE：一个新的 ASR-Robust 自然语言理解多任务基准

    为了评估 ASR 误差下 NLU 系统的性能，本研究提出了 ASR-GLUE benchmark，包括 6 个不同的 NLU 任务，以及声音特点和噪声等级的变化。研究结果表明，基于数据增强和纠错的方法可以在一定程度上提高 NLU 系统的鲁棒性，但仍需要进一步研究。

    Aug, 2021

  • 训练要有所侧重：自监督语音识别模型的针对性、可迁移对抗样本

    该论文研究了定向对抗攻击自我训练的自动语音识别模型，发现现代自我训练的自动语音识别模型容易受到对抗攻击的影响，进一步揭示了现代 ASR 体系结构的安全威胁。

    Sep, 2022

  • 神经开放域对话系统在对话历史的语音识别错误中是否具有鲁棒性？实证研究

    本文研究了 Generative Pre-trained Transformer 模型训练过程中不同类型的合成和真实的 ASR 假设对于模型的影响，并提出一种基线缓解策略。结果表明，模型在创作过程中，对话历史中引入 ASR 假设很敏感。因此，需要进一步探索增强神经聊天机器人语音健壮性的技术。

    Aug, 2020

  • 探索大型语言模型与自动语音识别系统的整合：实证研究

    本文旨在探讨将大型语言模型（LLMs）集成到自动语音识别（ASR）系统中以提高转录准确性的潜力，并通过实验表明在当前阶段，使用 LLMs 的上下文学习能力来修正语音识别转录中的潜在错误仍然是一项具有挑战性的任务。

    Jul, 2023

  • 利用大型语言模型攫取 ASR 不确定性

    利用 n-best 列表提示方法，我们改善了基于大型语言模型的口语理解任务，使其能够更好地理解口语意图并应用于基于语音的应用。

    Sep, 2023

  • 大型预训练语言模型向端到端语音识别器的知识转移

    本文提出了一种方法，通过从大规模语言模型的嵌入向量获取语义知识来缓解需要耗费大量成本的转录训练的问题，并扩展了注意力机制的解码器和神经音响模式的解码器，以实现错误率的降低。

    Feb, 2022

  • 健壮口语理解的多模态音文结构

    本文研究了基于现有自然语言理解模型的语音助手中由自动语音识别误差引起的性能损失，并提出一种多模态语言理解模块，利用自监督学习从语音和文本模态中获取特征，最终通过对音频信号和文本传输进行编码来获得更好的性能。

    Jun, 2023

  • 深度迁移学习用于自动语音识别：迈向更好的泛化能力

    本论文通过应用深度迁移学习的自动语音识别框架对最新的发展进行综合调查研究，以帮助学术和专业人士了解当前挑战，并识别论文中每个框架的优缺点。

    Apr, 2023