ACLMay, 2023

面向设备的语音识别通用语言建模

PDF
TL;DR本研究旨在探索不同的数据和架构驱动的语言建模方法，以构建一个单一应用程序不可知的模型，其优化了设备内存使用，同时保持了速度和准确性。其中两种前馈体系结构可以在不同设备约束之间找到最佳权衡，与特定应用程序的解决方案相比，可将硬盘占用减半。
on-device automatic speech recognitionserver-based systemslanguage modelingfeed-forward architecturesmemory optimization
发现论文，激发创造
  • 一种语言不可知的多语言流式本地化 ASR 系统

    本文提出了一种支持流式多语言的端到端自动语音识别的模型，通过编码端点模型和一个适用于语言混合的 End-of-Utterance Joint Layer，以及使用了更高效的 Embedding 解码器，实现了低延迟和高质量的效果，可以在移动设备上实时运行。

    Aug, 2022

  • MobileASR：一款面向移动电话的资源感知型设备端个性化自动语音识别框架

    本论文介绍了一种利用移动手机有效训练 ASR 模型的方法，该方法考虑了手机资源的限制，并使用了资源感知的子模型训练方法，通过分析手机的 RAM 和电池能力，达到了高效训练的效果。本论文利用各种口音的说话人来模拟真实用户，使用了各种品牌的手机进行测试，并发现微调模型和选择合适的参数值需要在性能、训练时间和存储消耗之间找到平衡点。最终，这种方法提供了一种综合性的解决方案，可以在平衡准确性和资源限制的需求下开发个性化 ASR 模型。

    Jun, 2023

  • 端设备个性化语音识别模型的研究调查

    本文探讨利用个人化的端到端语音识别模型在移动设备上安全训练，使用户数据和模型不离开设备和服务器，以提高数据隐私和可扩展性。实验结果表明，在设备个性化的情况下，相对词误差率降低了 63.7％，性能略有下降（18.7％）但是最终实现了更好的数据隐私保护。

    Sep, 2019

  • 跨口音语音识别上的快速适应学习

    研究了方言对同一语言单词发音的影响，提出了一种基于模型对抗元学习算法的跨方言英语语音识别任务，通过实验表明该方法显著优于联合训练。

    Mar, 2020

  • 面向口语对话系统的可伸缩语言模型适应

    提出了一种方法，基于手写语法直接估计 n-gram 数量和使用约束优化来适应新应用意图，同时不降低过去应用的性能，使用该方法在私人助手系统中对新应用意图进行了评估，发现即使对于没有此类应用程序的适应数据，适应可以将单词错误率提高 15％。

    Dec, 2018

  • 多域多设备 ASR 系统的统一建模

    本文提出一种创新的方法，将不同领域和不同设备的模型整合成一个统一的模型，使用领域嵌入、领域专家、专家混合和对抗性训练来提高整体统一模型的准确性，并通过仔细的消融研究表明每个创新的好处，实验证明我们提出的统一建模方法实际上优于精心调整的专业领域模型。

    May, 2022

  • 使用神经联想记忆进行快速上下文适应，提高设备端个性化语音识别

    本文介绍一种基于模型的端到端语境自适应方法，它不依赖于解码器，适合用于设备上的个性化训练，实验结果表明，相比传统的重新评分技术，在连续个性化场景中，该方法可以使相对识别率（WER）提高 12％，实体提及特定 F1 得分提高 15.7％。

    Oct, 2021

  • 基于 Conformer 的极端边缘计算设备上的语音识别

    本文提出了一种在资源受限设备上实现高级 Conformer 基于端到端流式 ASR 系统的模型架构调整、神经网络图形转换和数值优化的方法，实现了与实时识别相比超过 5.26 倍的速度（0.19 RTF），同时最小化能源消耗并达到最新的准确性，该方法可广泛应用于其他基于变压器的无服务器 AI 应用。此外，我们提供了一个完整的理论，用于利用任何浮点精度和任何 Lp 范数数值稳定层标准化的最佳前归一化方法。

    Dec, 2023

  • 虚拟助手语音实体知识查询的服务器端重评分

    通过在服务器端对口语信息领域查询使用各种类型的语言模型（N-gram 词语模型、子词神经模型）进行重计算，结合在设备上和服务器端的信号，通过整合各种服务器端语言模型相比仅在设备上执行 ASR，证明了在各种实体中心查询子群体中提高了 23%-35% 的字词错误率（WER）。此外，通过多个从头开始训练的服务器端语言模型的模型融合最有效地结合了每个模型的互补优势，并将领域特定数据所学到的知识集成到 VA ASR 系统中。

    Nov, 2023

  • 设备上的智能助手语言理解

    近期，手机和其他个人设备上运行个人数字助手成为可能。本文描述了在设备上运行的自然语言理解系统的设计。与基于服务器的助手相比，该系统更具隐私性、可靠性、速度更快、表达能力更强且更准确。我们描述了关于架构和技术的关键选择。例如，对话系统文献中的一些方法在部署环境中难以长期维护。希望通过分享我们的实践经验，能够为未来的研究工作提供有益信息。

    Aug, 2023