Sep, 2023

在资源受限设备上使用早期退出来训练动态模型的自动语音识别

HTML
PDF
TL;DR通过使用早期退出结构，我们研究了用于大词汇语音识别的动态模型，这些模型可以根据可用资源和识别性能自动调整其计算成本。与以前的工作不同的是，我们不仅使用预训练的骨干网络，还使用早期退出结构从头开始训练模型。通过在公共数据集上的实验证明，与使用较少编码器层或使用预训练模型相比，从头开始的早期退出结构不仅保持了性能水平，还提高了任务准确性。此外，我们还研究了一种基于后验概率的退出选择策略，作为基于帧熵的替代方案。
发现论文，激发创造
  • 优化边缘语音识别

    本文研究边缘设备上的语音识别问题，通过使用端到端的神经结构，并应用更有效的神经网络拓扑和优化技术，成功构建了一个高精度的，在边缘设备上运行的小型语音识别系统。

    Sep, 2019

  • 长篇语音识别的端到端模型比较

    本研究调查和提高端到端模型在长篇转录上的性能。实验比较了不同的端到端模型并证明RNN-T模型在这种场景下比注意力模型更加鲁棒，并且使用限制注意力单调性和分段解码算法等两种改进方法，将注意力模型的性能极大提升，达到了和RNN-T模型相当的水平。

    Nov, 2019

  • CascadeBERT：通过校准完整模型级联加速预训练语言模型推断

    本研究分析了动态提前退出的工作机制，并发现其在高速比下面临性能瓶颈。为了解决这个问题，提出了一个新的框架CascadeBERT，可以在重要性和正确性方面提供综合的表示。 经过实验证明，与现有的动态提前退出方法相比，CascadeBERT在六个分类任务上的性能提升达到了15％，可实现4倍加速。

    Dec, 2020

  • HuBERT-EE：高效语音识别的早期退出HuBERT模型

    研究使用自监督模型HuBERT和wav2vec 2.0在自动语音识别中取得了显著的性能改进，但这些模型通常需要高昂的计算成本来实现出色的性能，从而拖慢了推理速度。为了提高模型效率，我们提出了一种早期退出方案，即HuBERT-EE，它允许模型动态地停止推理。

    Apr, 2022

  • 自监督语音识别模型中避免过度思考

    本文介绍了一种应用于ASR任务的早期退出策略（EE），借此解决自我监督学习模型在大规模任务中存在的推理速度慢和网络反应过度的问题，并提出了两种新的策略来优化性能和速度之间的平衡。

    Nov, 2022

  • 端到端语音识别综述

    该研究论文介绍了端到端自动语音识别模型的分类和改进，讨论了它们对传统隐马尔科夫模型的影响，涵盖了模型、训练、解码和外部语言模型集成等各个方面，同时讨论了性能和部署机会以及未来的发展前景。

    Mar, 2023

  • 基于置信度的端到端语音识别模型集成

    本文探索基于置信度的集成模型方法，证明5种单语音模型组合胜于使用专用语言识别块的模型选择，同时结合基础模型和适应模型，可在数据原始状态和目标状态下获得强大结果。

    Jun, 2023

  • 使用早期终止架构联合动态模型在异构客户端上进行自动语音识别

    自动语音识别模型需要大量的语音录音进行训练。本文提出使用动态架构和局部训练方法，在各种设备上使用单一模型，并结合基本联邦学习策略，证明了这种方法的有效性。

    May, 2024

  • DAISY: 自适应数据自我监督的语音表示模型的早期退出

    自主训练的语音模型在各种任务中已显示出其有用性，但其庞大的体积限制了在计算能力和内存较低的设备中的使用。本论文探讨了一种早期退出的方法，用于通过尽早退出网络的前向过程来减少延迟。我们介绍了数据自适应自主训练早期退出（DAISY）方法，该方法根据自主训练损失来决定何时退出，消除了多轮训练和微调的需求。DAISY在MiniSUPERB基准测试上与HuBERT的性能相匹配，但推理时间更快。我们对DAISY的适应性进行了分析，结果显示该模型在干净数据上早期退出（使用较少层），而在噪声数据上晚期退出（使用更多层），根据每个样本的噪声水平动态调整推理的计算成本。

    Jun, 2024

  • 通过自监督早期退出加速大型语言模型推理

    本文针对大型预训练语言模型推理中的高计算需求问题，提出了一种新颖的早期退出技术，旨在加速推理过程。通过在现有的变换器层上集成自我监督训练的早期退出“头”，可以实现基于信心指标的条件性终止，从而在保证准确性的同时减少计算时间，极大提升了大型语言模型在资源受限环境下的实际应用潜力。

    Jul, 2024