- PufferLib: 优化强化学习的库和环境
通过提供环境封装和训练加速等功能，PufferLib 解决了环境、模型和强化学习库之间的兼容性问题。
- GNN 中的加速算法调查
图神经网络 (GNN) 在各种基于图的任务中显示出有效性，然而他们在训练和推理中的低效性给实现规模化的实际世界和大规模图应用带来挑战。为了解决这些关键问题，提出了一系列加速 GNN 训练和推理的算法，吸引了研究界的越来越多的关注。本文对 G - 高稀疏性基础 Llama 模型的高效预训练和部署
通过稀疏性，我们能够以较小的模型实现更快的训练和推理加速，并且不牺牲准确性。
- ICLR加速训练 Transformer 模型的多层框架
我们提出了一个多层框架，通过合并和解散以及插值操作来加速训练，从而降低了 BERT/GPT-Base 模型的计算成本约 20%，以及 BERT-Large 模型的计算成本高达 51.6%，同时保持了性能。
- CVPR通过令牌扩展的 Transformer 通用高效训练
我们提出了一种名为 ToE 的新型令牌增长方案，用于实现 ViTs 的一致训练加速，通过维护原始 Transformer 的中间特征分布的完整性，防止训练过程中关键可学习信息的丢失。实验结果表明，ToE 无损地实现了约 1.3 倍的 ViT - 加速深度学习训练和提高鲁棒性的乘法更新规则
本文研究了深度学习训练加速和鲁棒性问题，提出了一种优化框架，其中使用了一种新的乘法更新规则，并将其与传统的加性更新项相结合，实验表明该框架可以应用于广泛的优化方法和深度神经网络结构，并加速训练同时提高了模型的鲁棒性。
- Zip-NeRF: 基于格点的反锯齿神经辐射场
使用渲染和信号处理中的思想，将 mip-NeRF 360 和基于网格的模型相结合，使误差比之前的技术低 8%-76%，并且训练速度比 mip-NeRF 360 快 22 倍。
- 大规模深度学习模型的高效训练：文献综述
对于深度学习模型的训练加速技术的综述，主要从数据中心、模型中心、优化中心、预算训练和系统中心五个角度入手，详细介绍了各个方面减小计算复杂度的方法，其中包括数据样本的正则化、模型参数的减少和优化目标的设计等。
- 聚焦最大的失误者加快深度学习
介绍了 Selective-Backprop 技术，该技术可以通过在每次迭代中优先处理损失较大的示例来加速深度神经网络训练，通过在多个现代图像模型上的评估表明，相比标准 SGD 和最先进的重要性采样方法，Selective-Backprop - Mind2Mind : GAN 的迁移学习
该论文提出了一种基于迁移学习和自编码约束的生成对抗网络的训练技巧，可以极大加速高质量图像的训练，并在最优传输的框架下证明了该方法的收敛性和训练距离的精确界限。
- AutoAssist: 加速深度神经网络训练的框架
本文提出 AutoAssist 框架，使用实例减少操作来加速训练深度神经网络，并通过设计一个轻量级的 Assistant 网络对 Boss 网络进行辅助来降低训练时间，实验结果表明，AutoAssist 在图像分类和翻译数据集上表现出色。
- 激活函数对深度神经网络训练的影响
通过对「边缘混沌」的理论分析，研究了深度神经网络中各参数的选取对模型训练加速和性能提升的影响。
- ICML自相似时代：排列中的价值
本研究证明，对机器学习模型进行随机梯度更新常常使子时期包括独立随机样本，可能无法保留完整数据中存在的信息结构，建立自相似的训练样本可以更有效地训练矩阵分解等任务，并且通过实验证明加速了训练。