自动编码器是无监督学习内部表示的有用框架，本研究将现有的去噪自动编码器扩展到在非线性函数和隐藏单元激活之前注入噪音，提供一种统一的策略来通过设计注入噪声的性质来开发新的内部表示，并表明通过罕见的、去相关、和信息分散的噪声，在深度网络中改善性能。与其他单层技术竞争 MNIST 和 CIFAR-10。

Jun, 2014

本文研究了在训练基本和复杂神经网络时添加梯度噪声的效果，发现这种技术可以显著提高训练效果，尤其是在较深的网络结构中更加有效，鼓励将该技术应用于更多复杂现代架构中。

Nov, 2015

提出一种新的动态配置技术，可在运行时进行逐步的能量-精确度权衡，调整深度神经网络中通道数量，以响应时间、功率和准确性目标调整，并且我们对MNIST、CIFAR-10和SVHN数据集的三个知名网络进行了性能分析并证明，我们能够在三个基准测试中实现高达95%的能量降低且不到1%的准确率损失。

Jul, 2016

介绍一种名为 D2NN 的动态深度神经网络，其允许对输入进行选择性执行以优化计算效率，同时借助控制器模块和整合强化学习的反向传播算法进行端到端训练以优化精度和效率。

Jan, 2017

我们提出了一种新方法，通过使用噪声注入节点来干扰系统来探究深度神经网络（DNN）的学习机制。这些节点通过额外的可优化权重注入不相关噪声到现有的前馈网络架构中，而不改变优化算法。我们发现，系统在训练期间显示出不同的阶段，这些阶段由注入噪声的规模决定。我们首先推导出网络动力学的表达式，并将一个简单的线性模型作为测试用例。我们发现，在某些情况下，噪声节点的演变类似于未受干扰的损失，因此指示着将来能够使用噪声注入节点来更好地了解整个系统的可能性。

Oct, 2022

本文介绍了一种称为噪声注入节点正则化（NINR）的方法，可在深度神经网络（DNN）的训练阶段注入结构化噪声，从而产生紧急的规范化效果，该方法在各种测试数据扰动下可以显著提高DNN的稳健性，并且还可以容易地用于许多标准问题说明，特别是针对无结构噪声的情况，其效果优于现有的其他方法（如Dropout或$L_2$正则化）。

Oct, 2022

通过使用早期退出结构，我们研究了用于大词汇语音识别的动态模型，这些模型可以根据可用资源和识别性能自动调整其计算成本。与以前的工作不同的是，我们不仅使用预训练的骨干网络，还使用早期退出结构从头开始训练模型。通过在公共数据集上的实验证明，与使用较少编码器层或使用预训练模型相比，从头开始的早期退出结构不仅保持了性能水平，还提高了任务准确性。此外，我们还研究了一种基于后验概率的退出选择策略，作为基于帧熵的替代方案。

Sep, 2023

一种创新的方法用于在资源受限设备上实时语音增强的深度神经网络计算复杂度的减少，该方法利用两阶段处理框架，采用通道特征重定向来降低卷积运算的计算负荷，并结合改进的功率定律压缩技术以实现与最先进方法相当的噪声抑制性能，但具有显著较少的计算要求。值得注意的是，我们的算法的计算复杂度和内存使用比之前最先进的方法要少3到4倍。

Dec, 2023

通过研究分析训练数据中的采样率对移动设备处理限制中的轻量级高效深度神经网络(DNNs)的影响，研究发现采用48kHz的高采样率训练模型在降噪效果和音频质量上显著优于低采样率，同时也发现了与较高采样率相关的处理时间延长的折衷方案。未来研究将进一步优化模型的效率以及在移动设备上进行测试。

May, 2024

本研究针对深度模拟神经网络中“硬件噪声”的关键挑战，提供了一种全面的硬件无关的解决方案，旨在应对影响激活层的相关和非相关噪声。我们提出的新可解释正则化框架帮助揭示了噪声弹性网络的机制，显著增强了深度神经架构的噪声鲁棒性。

Sep, 2024