利用小像素批量梯度下降算法优化物理设计流程中的预测性人工智能
提出了一种名为 ADA-GP 的算法，通过使用梯度预测来加速深度神经网络（DNN）的训练，同时保持准确性，并且这种算法具有可适应的特性来平衡精度和性能，同时还提供了一种详细的硬件扩展来实现梯度预测加速潜力。通过对 14 种 DNN 模型的广泛实验表明，与基线模型相比，ADA-GP 可以实现 1.47 倍的平均加速，并且由于减少了与基线硬件加速器相比的外部内存访问，平均消耗的能量降低了 34％。
May, 2023
采用梯度逼近的对抗训练方法能够减少建立稳健模型的成本，而对于常见数据集如 MNIST、CIFAR-10 和 CIFAR-100，该方法在训练时间上节省了高达 60% 的时间，并且在模型测试准确性上没有明显损失。
Sep, 2023
本文提出了一种动态批处理策略，该策略可以在 GPU 上实现高效算法和长时间响应之间的平衡，通过将 GPU 推理服务建模为一个批处理服务队列，然后将设计问题转化为半马尔可夫决策过程，通过解决一个相关的离散时间马尔可夫决策过程问题获得最优策略。
Jan, 2023
我们的工作通过识别最合适的 GPGPU 用于 CNN 推理系统，提出了一种加快 DSE 过程的方法。我们开发了一种快速而精确的技术来预测 CNN 推理过程中的功耗和性能，MAPE 分别为 5.03％和 5.94％。这种方法使计算机架构师能够在开发初期估计功耗和性能，减少了大量原型的必要性。这不仅节省了时间和金钱，同时也改善了上市时间。
Aug, 2023
本文提出了 Scalable and Practical Natural Gradient Descent（SP-NGD）算法，一种能够解决大规模深度神经网络训练中 mini-batch size 增加导致泛化能力下降的问题，且能够快速收敛并达到类似一阶优化方法的泛化性能，同时可进行大规模分布式训练。实验结果表明，使用 SP-NGD 算法进行 ImageNet 数据集上的 ResNet-50 模型训练，能够在 5.5 分钟内，使用 32768 的 mini-batch size 和 1024 个 GPU，获得 75.4% 的 top-1 验证精度；且在 873 个步骤内，即使使用极大的 mini-batch size=131072，也能够达到 74.9% 的准确率。
Feb, 2020
该研究探讨了在随机梯度下降中广泛使用的平均方案的好处。特别是，通过对最小二乘回归的随机逼近问题进行非渐进超额风险分析，提供了这些方案的性能保证，并提出了高度可并行化的随机梯度下降方法。同时，该研究认为，为了保证最小极大风险，针对混浊噪声的步长必须是噪声属性的一个函数。
Oct, 2016
本文研究了深度神经网络的硬件加速器，并提出了一种具有硬件优势的异步管道并行训练算法。通过引入 Spike Compensation 和 Linear Weight Prediction 两种方法，它有效地减轻了由 Pipelined Backpropagation 的异步性造成的缺点，并优于现有技术。适当的标准化和小批量大小也有助于训练，与 SGD 相比，它能够在 CIFAR-10 和 ImageNet 上为多个网络的训练匹配准确度。
Mar, 2020
本文介绍了一种将串行渐变型在线预测算法转化为分布式算法的方法 —— 分布式 Mini-batch 算法，证明了该算法适用于平滑凸损失函数和随机输入，并明确考虑了分布式环境中节点间通信延迟，同时展示了该算法如何用于解决分布式随机优化问题，并在网络规模的在线预测问题中展示了其优点。
Dec, 2010