本研究提出了 PaReprop 算法，该算法能够在反向传播阶段中将激活重新计算的额外计算开销与梯度计算本身并行化，实现记忆高效训练，并比普通可逆训练达到高达 20% 的更高训练吞吐量。

Jun, 2023

该论文提出了一种基于多格迭代和并行计算的新型深度神经网络训练算法，和传统的序列前向、后向传播不同，该方法使神经网络的训练过程具备了层间的并行性，并取得了与传统方法相当的训练性能。

Dec, 2018

我们提出了一种新颖的并行适应重新激活（PYRA）方法，用于训练和推理效率高的任务适应，通过并行产生自适应权重和标记激活策略，以在大规模基础模型中同时保持训练和推理的效率。

Mar, 2024

本研究将深度残差网络解释为普通微分方程，并由此开发出一种稳定和可逆的深度神经网络理论框架，以及提出了三种可任意加深的可逆神经网络架构，实现了对深度网络的记忆高效实现，并且通过实验证明了本文方法在 CIFAR-10，CIFAR-100 和 STL-10 等数据集上取得了明显的优于现有强基准的性能表现，并且能够通过使用更少的训练数据来训练神经网络。

Sep, 2017

提出了一种名为 Universal Parallel Tuning (UniPT) 的新型内存高效 PETL 策略，通过轻量级的可学习并行网络进行传输过程，减少内存消耗，并在不同架构上在低内存场景下实现更高的性能。

Aug, 2023

通过研究深度神经网络中的残差连接，提出了一种平行浅层架构的替代方案，通过在 Taylor 级数表达式中截断高阶项，发现广而浅的网络架构在性能上与传统的深层架构相当，这一发现有望简化网络架构、提高优化效率并加速训练过程。

Sep, 2023

通过 Cyclic Data Parallelism 和 Model Parallelism 技术，在训练大型深度学习模型的过程中，减少了内存的需求以及 GPU 的使用，提升了模型的执行效率。

Mar, 2024

本文提出了一个神经架构搜索算法 Petridish，用于随着现有网络层的迭代添加快捷连接。其利用加入的快捷连接在增强的层上有效地执行梯度增强。文中所提出的算法受到特征选择算法前向逐步线性回归的启发，因为我们将 NAS 视为回归的特征选择的泛化，即 NAS 在层之间选择快捷方式而不是选择特征。为了减少可能的连接组合的试验次数，我们共同训练每个增长阶段的所有可能连接，同时利用特征选择技术选择其中的子集。我们在研究中发现，Petridish 是一种有效率的前向架构搜索算法，在重复网络模块（cell-search）和通用网络（macro-search）的搜索空间中，使用了很少的 GPU 天数可以找到竞争模型。 特别适用于从现有模型启动的生命周期学习场景。

May, 2019

该研究介绍了一种新型的具有可逆性的深度残差网络，名为 RevNet，能够通过其后续层的激活来精确地重建每一层的激活，从而克服了传统深度残差网络在反向传播过程中所需要大量的存储空间，实现了与相同大小的深度残余网络相似的图像分类准确率。

Jul, 2017

本文提出了一种结合可微分架构搜索（DARTS）和多分裂可逆网络的算法，以提高在序列到序列数据集上的性能，并优于传统 Transformers。

May, 2021