动态 nsNet2: 高效的深度噪声抑制与提前退出
一种创新的方法用于在资源受限设备上实时语音增强的深度神经网络计算复杂度的减少,该方法利用两阶段处理框架,采用通道特征重定向来降低卷积运算的计算负荷,并结合改进的功率定律压缩技术以实现与最先进方法相当的噪声抑制性能,但具有显著较少的计算要求。值得注意的是,我们的算法的计算复杂度和内存使用比之前最先进的方法要少 3 到 4 倍。
Dec, 2023
该研究论文介绍了一种基于类别排除的动态推理方法,通过在中间层分配分类器并利用其学习到的特征排除尽可能多的无关类别,从而显著降低深度神经网络在推理中的计算成本。
Sep, 2023
本文研究深度学习模型在语音增强方面的应用,并探讨了网络复杂度与可达到的语音质量之间的关系,考虑了网络在回声环境下的训练。研究表明,网络的复杂度是影响语音质量的一个重要因素。
Jan, 2021
通过使用早期退出结构,我们研究了用于大词汇语音识别的动态模型,这些模型可以根据可用资源和识别性能自动调整其计算成本。与以前的工作不同的是,我们不仅使用预训练的骨干网络,还使用早期退出结构从头开始训练模型。通过在公共数据集上的实验证明,与使用较少编码器层或使用预训练模型相比,从头开始的早期退出结构不仅保持了性能水平,还提高了任务准确性。此外,我们还研究了一种基于后验概率的退出选择策略,作为基于帧熵的替代方案。
Sep, 2023
协作推理系统是在无线网络边缘部署深度神经网络的新兴解决方案之一。本研究工作通过评估不同的传输决策机制,实验证明在无线边缘上适当利用早期退出可以在图像分类任务中提供性能增益和显著的通信节省。
Nov, 2023
本研究提出了一种基于多目标学习的多出口深度神经网络推理框架 EENet,以优化在给定推理预算下的早期退出策略。 EENet 早期退出调度程序优化测试样本分配到不同退出,同时选择退出效用阈值,以满足给定的推理预算,同时最大化性能指标。与现有代表性早期退出技术相比,EENet 可以显着提高性能。
Jan, 2023
本文介绍了利用预训练神经网络和基于神经体系结构搜索的两阶段微调概念,使用突变方法和提前终止搜索等策略,实验结果表明我们的方法减少了 32.4%的计算成本和 22.3%的搜索成本。
Feb, 2022
本文介绍一种新颖的深度网络架构 ——BranchyNet,该架构通过引入额外的支路分类器,允许预测结果提前退出网络,实现较高置信度下的快速推理,以此同时提高网络的分类准确度,并有效地降低网络的推理时间。
Sep, 2017
借鉴人脑的高效率和低功耗,本文提出了一种基于预测编码理论和动态提前终止的浅双向网络,以加入硬件有限资源在设计过程中,实现在 CIFAR-10 图像分类上与 VGG-16 相当准确率的结果,使用更少的参数和较低的计算复杂度。
Sep, 2023