本文提出一种新的成本感知算法，将成本信息合并到深度学习的预训练阶段和训练阶段，以提高性能并优于没有合并成本信息的深度学习模型。

Nov, 2015

提出一种系统性方法来减少深度神经网络训练的内存消耗，通过算法设计，在每个小批量仅需要一个额外正向传播的计算成本的情况下，以O（sqrt（n））的内存成本训练n层网络，使用计算图分析进行自动原地操作和内存共享优化，可以在更少的计算成本下实现更多的内存节约效果。

Apr, 2016

本文提出了一种新的深度神经网络模型——Impatient Deep Neural Networks，因应动态时间预算且同时支持随时停顿多阶段推断，此方法可实现自适应计算及能源需求，提高实时应用性能，其重要特征为联合学习动态预算预测器。实验结果表明，与常见基线相比，我们的方法在预测精度等方面有较大提升。

Oct, 2016

该研究通过应用称为DE的简单优化器对SVM进行微调，以实现类似（甚至更好）的结果，证明了不必盲目使用每一项新创新，应该将新的、花费高昂的过程基线化，才能进行可靠的比较和评估。

Mar, 2017

本文提出了一种名为BSN的新型神经网络，采用基于预算学习的梯度下降技术，在不假设成本性质的条件下，以最大允许成本作为目标函数，解决了神经网络预测效率和成本之间的平衡问题，并通过对计算成本、内存消耗成本和分布式计算成本的三种代价的处理，实现了优于ResNet和Convolutional Neural Fabrics的结构发现与学习能力。

May, 2017

本文研究了基于小批量样本随机梯度优化的现代深度神经网络训练中，不同批量大小对测试性能和泛化性能的影响，并指出使用小批量训练可以提供更稳定和可靠的结果。

Apr, 2018

一篇关于深度学习优化和基准测试的研究，通过 DAWNBench 提供的数据分析了不同优化方法对最终模型准确性和训练时间的牺牲情况，发现 TT​A 在评价深度学习训练效果时的可靠性较高，同时发现在进行优化训练时还需更充分地利用硬件性能和降低通信时间开销。

Jun, 2018

本篇论文全面评估现有的面向硬件的深度学习模型建模和优化方法，提出几个值得探讨的研究方向，旨在让深度学习的应用对硬件系统和平台产生显著影响。

Sep, 2018

本文研究了增加批次大小对神经网络训练时间以及模型性能的影响，并发现不同的工作负载之间存在巨大的差异，并且不发现增加批次大小会降低模型的性能表现。

Nov, 2018

本文提出了一个新的竞争性算法基准测试，AlgoPerf：训练算法基准测试，在多个工作负载上运行固定的硬件，解决了评估训练算法改进的三个基本挑战，包括如何确定训练何时结束和精确测量训练时间，如何处理测量对确切工作负载细节的敏感性，以及如何公平比较需要超参数调整的算法。在本基准测试中，评估了基线结果和各种优化器构建的基线提交，最终证明了新基准测试的可行性。

Jun, 2023