SwiftLearn 是一种数据高效的方法，通过在训练的暖启动阶段选择一部分数据样本加速深度学习模型的训练，实现减少训练时间。实验结果表明，在各种计算机视觉和自然语言处理模型的预训练和微调过程中，通过减少训练样本数量可以保持模型性能，并实现显著的加速效果，如 BERT 在 GLUE 基准上可以降低近 90% 的数据，从而实现平均加速比为 3.36 倍，且平均准确度下降小于 0.92%。

Nov, 2023

对于深度学习模型的训练加速技术的综述，主要从数据中心、模型中心、优化中心、预算训练和系统中心五个角度入手，详细介绍了各个方面减小计算复杂度的方法，其中包括数据样本的正则化、模型参数的减少和优化目标的设计等。

Apr, 2023

介绍了深度学习效率问题和五个核心领域，包括建模技术、基础设施和硬件，并提出实验指南和代码，为实践者优化模型培训和部署提供支持。这是第一个详尽的调查，涵盖了从建模技术到硬件支持的模型效率领域，帮助实践者实现改进并装备他们以进行进一步的研究和实验。

Jun, 2021

本文介绍了 DeepSpeed Inference 这一全面的转换模型推断系统解决方案，以解决目前多样化的转换模型在推断时遇到的挑战，包括多 GPU 推断方案，利用 CPU 和 NVMe 内存进行异构推断以及在实时延迟限制下运行万亿级别的推断等，并且可以比 GPU-only 解决方案处理规模大 25 倍的模型，同时提供高吞吐量。

Jun, 2022

在这项工作中，我们旨在解决传输学习的数据集剪枝问题，即如何通过识别和删除冗余的训练样本，提高预训练效率并在下游目标任务中达到无损调优准确度。我们建立了统一的观点，将数据集剪枝与传输学习相结合，并发现现有的数据集剪枝方法不适用于传输学习范式。我们提出了两种新的数据集剪枝方法，即标签映射和特征映射，分别针对监督预训练和自我监督预训练设置，通过重新审视源 - 目标领域映射的视角重新定义了数据集剪枝问题。此外，我们还证明了我们的方法在许多传输学习任务上的有效性。我们展示了源数据类别可以剪枝达到 40% 至 80%，而不牺牲下游性能，在预训练阶段实现了显著的 2 至 5 倍加速。此外，我们的方法具有广泛的适用性，可以改进其他计算密集型的传输学习技术，例如对抗性预训练。

Oct, 2023

本文提出了基于渐进式层丢弃的方法，通过模型结构和训练技术的提升效率，加速了基于 Transformer 的语言模型的训练，相较于基准实验可以在每个样本上平均节省 24% 的时间，让预训练速度提高 2.5 倍，同时保持强的知识可迁移性。

Oct, 2020

本文概述了在大规模深度学习中如何优化模型的准确性和效率，讨论了优化中使用的算法、大批量训练中出现的泛化差距问题，并回顾了最新的解决通信负担和减少内存占用的策略。

Nov, 2021

本论文演示了一种使用稀疏性和数据流的端到端训练流程，用于对一个大型语言模型（13 亿 GPT）进行高效训练，能够成功训练出与稠密模型相同质量的结果，并获得 4.5 倍于基线的端到端加速。

Apr, 2023

通过理论分析大规模语言模型的内部结构和操作机制，探讨 Transformer 及其派生体结构如何在捕获长期依赖时限制计算效率，深入挖掘训练阶段的效率瓶颈，并详细评估自适应优化算法（如 AdamW）、大规模并行计算技术和混合精度训练策略对加速收敛和减少内存占用的贡献，同时系统地回顾了模型压缩技术的最新进展，侧重于量化、修剪和知识蒸馏等策略，通过比较这些技术的理论框架及其在不同应用场景中的效果，展示了它们在显著减小模型规模和推理延迟、同时保持模型预测准确性方面的能力，并且对当前效率优化方法的局限性（如过拟合风险、压缩后性能损失控制以及算法通用性问题）进行了批判性审查，提出了未来研究的一些展望，最终为理解大规模语言模型的效率优化提供了全面的理论框架。

May, 2024

基于预训练大模型和小模型协同合作的数据分流 +（DS+）范例可通过充分利用小模型处理简单子任务，从而显著降低大模型查询的成本并提高性能。

Jun, 2024