本文提出了一种名为 BSN 的新型神经网络，采用基于预算学习的梯度下降技术，在不假设成本性质的条件下，以最大允许成本作为目标函数，解决了神经网络预测效率和成本之间的平衡问题，并通过对计算成本、内存消耗成本和分布式计算成本的三种代价的处理，实现了优于 ResNet 和 Convolutional Neural Fabrics 的结构发现与学习能力。

May, 2017

本文引入了一个形式化的训练模式：在有限资源（预算）约束下的训练，分析了在此模式下的学习率调整方法，通过在多个任务数据集上的实验验证了线性衰减方法的优秀表现，并强调了在该模式下的预算收敛现象的重要性。

May, 2019

本研究提出了一种基于预算限制的深度卷积神经网络修剪框架，并利用学习掩码层、创新的预算目标函数以及知识蒸馏等技术进行修剪，实验结果表明，使用我们的方法修剪后的 CNNs 比现有方法更准确、计算更少，同时即使极度剪枝也不影响分类准确度，具有很大的实用价值。

Nov, 2018

提出了一种框架，允许在广泛使用的深度神经网络中严格执行约束条件，其中约束通过限制 DNN 参数的子流形来确切满足。该框架的一个示例是将卷积神经网络（CNN）的滤波器限制为小波，并将这些小波网络应用于医学领域的轮廓预测任务。

Feb, 2023

利用浅层双向 LSTM 模型和特征工程方法对比特币价格进行预测，并显示在使用所提出的特征工程方法时，浅层深度神经网络优于其他流行的价格预测模型。

Oct, 2023

本文提出了一种新的深度神经网络模型 ——Impatient Deep Neural Networks，因应动态时间预算且同时支持随时停顿多阶段推断，此方法可实现自适应计算及能源需求，提高实时应用性能，其重要特征为联合学习动态预算预测器。实验结果表明，与常见基线相比，我们的方法在预测精度等方面有较大提升。

Oct, 2016

我们提出了一种通用的离线学习方法，其中考虑了输入特征的计算成本，通过将成本约束纳入到决策变换器的扩展中，从而在推断过程中限制其成本，使模型能够在每个时间步动态选择最佳输入特征。我们通过 D4RL 基准和类似于视频游戏中的复杂 3D 环境等多个任务展示了我们方法的有效性，并表明与传统方法相比，它能够在使用显著较少的计算资源的情况下实现类似的性能。

Aug, 2023

通过提出一个新的 deep neural networks 训练基准 (TBD)，并在三个主要的深度学习框架 (TensorFlow、MXNet、CNTK) 上进行广泛的性能分析，本文为 DNN 训练提供了一套新的分析工具集以及对未来研究和优化的建议。

Mar, 2018

通过有限精度变量、关键性分析、贪婪策略等技术实现近似深置信网络 (ApproxDBNs)，在保证目标准确率的前提下，最大化降低硬件实现的能耗。实验结果表明，通过限制准确度损失，能够显著降低硬件的处理精度。

Apr, 2017

本文旨在通过将深度神经网络 (LSTM) 模型的知识提取到基于卷积神经网络 (CNN) 的模型中，来降低自然语言识别任务（如文本分类）中的推理时间，以实现模型的简化、压缩和加速。

Aug, 2022