Jun, 2023

MobileASR：一款面向移动电话的资源感知型设备端个性化自动语音识别框架

PDF
TL;DR本论文介绍了一种利用移动手机有效训练 ASR 模型的方法，该方法考虑了手机资源的限制，并使用了资源感知的子模型训练方法，通过分析手机的 RAM 和电池能力，达到了高效训练的效果。本论文利用各种口音的说话人来模拟真实用户，使用了各种品牌的手机进行测试，并发现微调模型和选择合适的参数值需要在性能、训练时间和存储消耗之间找到平衡点。最终，这种方法提供了一种综合性的解决方案，可以在平衡准确性和资源限制的需求下开发个性化 ASR 模型。
asr modelsmobile phonesresource-aware sub-modelon-device trainingpersonalized models
发现论文，激发创造
  • 端设备个性化语音识别模型的研究调查

    本文探讨利用个人化的端到端语音识别模型在移动设备上安全训练，使用户数据和模型不离开设备和服务器，以提高数据隐私和可扩展性。实验结果表明，在设备个性化的情况下，相对词误差率降低了 63.7％，性能略有下降（18.7％）但是最终实现了更好的数据隐私保护。

    Sep, 2019

  • 基于 Conformer 的极端边缘计算设备上的语音识别

    本文提出了一种在资源受限设备上实现高级 Conformer 基于端到端流式 ASR 系统的模型架构调整、神经网络图形转换和数值优化的方法，实现了与实时识别相比超过 5.26 倍的速度（0.19 RTF），同时最小化能源消耗并达到最新的准确性，该方法可广泛应用于其他基于变压器的无服务器 AI 应用。此外，我们提供了一个完整的理论，用于利用任何浮点精度和任何 Lp 范数数值稳定层标准化的最佳前归一化方法。

    Dec, 2023

  • Master-ASR：用模块化学习实现跨语言可扩展性和低资源适应性的自动语音识别

    提出了一种名为 METHODNS 的自动语音识别框架，通过模块化的方法实现低资源适应能力和多语言可扩展性，能够显著提高多语言和低资源语音识别的性能。

    Jun, 2023

  • 面向设备的语音识别通用语言建模

    本研究旨在探索不同的数据和架构驱动的语言建模方法，以构建一个单一应用程序不可知的模型，其优化了设备内存使用，同时保持了速度和准确性。其中两种前馈体系结构可以在不同设备约束之间找到最佳权衡，与特定应用程序的解决方案相比，可将硬盘占用减半。

    May, 2023

  • 元学习为端到端低资源语音识别

    该论文介绍了一种基于元学习的低资源自动语音识别的方法，通过用多语言进行预训练并使用模型无关元学习算法（MAML）来快速适应目标语言，该方法名为 MetaASR，经过初步测试，发现该方法在各个目标语言中均显著优于现有的多任务预训练方法，而且开启了一种将元学习应用于更多语音相关应用的新研究方向。

    Oct, 2019

  • 面向低资源多语言语音识别的自适应激活网络

    本篇论文提出了一种适应性激活网络，用于深度学习 ASR 模型的上层，并将不同的激活函数应用于不同的语言，通过交叉语言学习和多语言学习优化模型，达到了在 IARPA Babel 数据集上超越传统的基于瓶颈特征和从头训练两种方法的效果提升，结合交叉语言学习和多语言学习可以进一步提高多语言语音识别的性能。

    May, 2022

  • 使用神经联想记忆进行快速上下文适应，提高设备端个性化语音识别

    本文介绍一种基于模型的端到端语境自适应方法，它不依赖于解码器，适合用于设备上的个性化训练，实验结果表明，相比传统的重新评分技术，在连续个性化场景中，该方法可以使相对识别率（WER）提高 12％，实体提及特定 F1 得分提高 15.7％。

    Oct, 2021

  • 利用大型预训练模型实现低资源语音识别的高效使用

    本研究探讨了在越南语和德语的医疗领域低资源对话电话语音语料库中使用无监督方法进行预训练，并讨论了如何适应实际的电话任务，包括带宽传输和不同的数据条件，该方法超过了基线 22% 的相对性能。

    Oct, 2022

  • 低资源印度语言中语音识别模型的调整

    通过利用语音和文本资源采用适应和微调技术，提高了印度语言 Bengali 和 Bhojpuri 的自动语音识别（ASR）性能，并通过多模态数据了解每种模态在构建可靠 ASR 方面的重要程度以及解决全球各种语言中的低资源问题的潜在解决方案。

    Jul, 2023

  • 适用于每个用户和预算的模型：无标签和个性化的混合精度量化

    最近的自动语音识别（ASR）中取得的进展产生了大型 AI 模型，这些模型在移动设备上部署变得不切实际。模型量化可以产生压缩的通用模型，但这些模型可能只能在特定领域中部署。我们表明在量化过程中可以个性化地对 ASR 模型进行个性化调整，仅依赖于目标领域的少量未标记样本。为此，我们提出了 myQASR，一种混合精度量化方法，它可以在不需要微调的情况下为不同用户生成量化方案，以适应任何内存需求。myQASR 通过分析全精度激活值来自动评估网络层的量化灵敏度，我们能够为任何预定的内存预算生成个性化的混合精度量化方案。大规模 ASR 模型的结果表明 myQASR 如何提高特定性别、语言和说话者的性能。

    Jul, 2023