Jun, 2024

DAISY: 自适应数据自我监督的语音表示模型的早期退出

PDF
TL;DR自主训练的语音模型在各种任务中已显示出其有用性，但其庞大的体积限制了在计算能力和内存较低的设备中的使用。本论文探讨了一种早期退出的方法，用于通过尽早退出网络的前向过程来减少延迟。我们介绍了数据自适应自主训练早期退出（DAISY）方法，该方法根据自主训练损失来决定何时退出，消除了多轮训练和微调的需求。DAISY 在 MiniSUPERB 基准测试上与 HuBERT 的性能相匹配，但推理时间更快。我们对 DAISY 的适应性进行了分析，结果显示该模型在干净数据上早期退出（使用较少层），而在噪声数据上晚期退出（使用更多层），根据每个样本的噪声水平动态调整推理的计算成本。
self-supervised speech modelsearly exitdata adaptive self-supervised early exit (daisy)inference timesadaptive inference
发现论文，激发创造
  • 在资源受限设备上使用早期退出来训练动态模型的自动语音识别

    通过使用早期退出结构，我们研究了用于大词汇语音识别的动态模型，这些模型可以根据可用资源和识别性能自动调整其计算成本。与以前的工作不同的是，我们不仅使用预训练的骨干网络，还使用早期退出结构从头开始训练模型。通过在公共数据集上的实验证明，与使用较少编码器层或使用预训练模型相比，从头开始的早期退出结构不仅保持了性能水平，还提高了任务准确性。此外，我们还研究了一种基于后验概率的退出选择策略，作为基于帧熵的替代方案。

    Sep, 2023

  • HuBERT-EE：高效语音识别的早期退出 HuBERT 模型

    研究使用自监督模型 HuBERT 和 wav2vec 2.0 在自动语音识别中取得了显著的性能改进，但这些模型通常需要高昂的计算成本来实现出色的性能，从而拖慢了推理速度。为了提高模型效率，我们提出了一种早期退出方案，即 HuBERT-EE，它允许模型动态地停止推理。

    Apr, 2022

  • 具有多个退出的 DNN 的无监督式早期退出

    "UEE-UCB" 是一种基于 Upper Confidence Bound (UCB) 算法的多出口深度神经网络 (DNNs) 优化方法，利用 bandit 理论来识别多出口 DNNs 中的最优退出点，并能够适应性地学习特定领域的最优退出点。

    Sep, 2022

  • 噪声无线信道上的自适应提前退出协同推理

    协作推理系统是在无线网络边缘部署深度神经网络的新兴解决方案之一。本研究工作通过评估不同的传输决策机制，实验证明在无线边缘上适当利用早期退出可以在图像分类任务中提供性能增益和显著的通信节省。

    Nov, 2023

  • 早期退出预测的资源受限边缘人工智能

    本文提出了一种早期预测机制 'Exit Predictor'，通过引导某些明显 “困难” 的数据样本绕过早期出口的计算，从而降低设备边缘混合推理系统中早期退出网络的设备计算负担。同时，还考虑了通信带宽的变化，在延迟感知的边缘推理中通过几个简单的回归模型来调整 Exit Predictor 的预测阈值和早期退出网络的置信度阈值，以适应不同带宽条件下推理的需求。实验结果表明，Exit Predictor 对于早期退出网络在准确性和设备计算负担之间取得更好的折衷效果。与基线方法相比，在不同带宽条件下，提出的延迟感知的边缘推理方法具有更高的推理准确性。

    Jun, 2022

  • FIANCEE: 基于条件提前退出的对抗网络快速推断

    本文提出了一种利用早期退出支路来降低计算量的方法，并在两种最先进的生成任务模型上应用，即从语义映射中生成和面部表情的交叉重演，可以输出具有自定义较低质量阈值的图像，尤其适用于实时应用场景。

    Apr, 2023

  • EENet: 适应推理的学习早期退出

    本研究提出了一种基于多目标学习的多出口深度神经网络推理框架 EENet，以优化在给定推理预算下的早期退出策略。 EENet 早期退出调度程序优化测试样本分配到不同退出，同时选择退出效用阈值，以满足给定的推理预算，同时最大化性能指标。与现有代表性早期退出技术相比，EENet 可以显着提高性能。

    Jan, 2023

  • 早期退出网络的自适应推断：设计、挑战与方向

    该研究论文介绍了早期退出网络的设计方法和最新进展，比较了与其他高效推理解决方案的优劣，并提出了未来研究的挑战和方向。

    Jun, 2021

  • 一种基于简单哈希的语言理解和生成早期退出方法

    本文提出了一种基于哈希技术的早期结束方法，即 HashEE 方法，以替代 learn-to-exit 模块来预测每个实例的困难度，并将每个令牌分配到一个固定的退出层。实验证明，与先前的早期退出方法相比，该方法在分类、回归和生成任务中能够实现更高的性能，且需要更少的 FLOPs 和推理时间，并且不需要内部分类器或额外参数。

    Mar, 2022

  • 自监督语音识别模型中避免过度思考

    本文介绍了一种应用于 ASR 任务的早期退出策略（EE），借此解决自我监督学习模型在大规模任务中存在的推理速度慢和网络反应过度的问题，并提出了两种新的策略来优化性能和速度之间的平衡。

    Nov, 2022