我们提出了一种新颖的两阶段训练机制和一种新颖的正则化技术，以提高基于内存的 Transformer 的训练效率，该模型通常用于解决长程背景问题。我们在字符级语言模型任务上展示了我们的结果模型 Skip Cross-head TransformerXL，在相似参数下优于基线模型，并在词级语言建模任务上优于基线模型，参数减少近 20%。我们提出的方法不需要额外的内存。我们还展示了我们在 BERT 上的正则化机制的有效性，该机制在多个 GLUE 任务中表现出相似性能，并降低了标准差约 30%。

Nov, 2023

使用贝叶斯学习框架和变分推断优化，提高了 Transformer 神经语言模型的泛化性能和模型鲁棒性。在 Switchboard 语料库和 DementiaBank 中的实验都获得了明显的性能提升。

Feb, 2021

通过观察 Low-Rank Adaptation 在 fine-tuning 任务中的层内特性，我们发现了一种不同层之间权重归一化的不寻常偏度，利用这一关键观察，我们发现了一种非常简单的训练策略 ——Layerwise Importance Sampled AdamW（LISA），它在减少内存消耗的同时，超越 LoRA 及全参数训练，在大范围设置的下游 fine-tuning 任务中表现出色。

Mar, 2024

通过选择稀疏子矩阵以减少计算资源开销和内存消耗，我们介绍了一种名为 Sparse Matrix Tuning (SMT) 的方法，用于填补参数有效微调（PEFT）与完全微调（FT）之间的性能差距，并在多个任务中展示了其超越了其他 PEFT 的基准方法（如 LoRA 和 DoRA），同时与 FT 相比，GPU 内存占用减少了 67%。

May, 2024

通过梯度下降，我们确认了大型语言模型的有效模型收敛所需的重要组件，并提出了一种廉价且内存高效的算法来进行微调和预训练大型语言模型。

May, 2024

该研究提出了一种将随机矩阵乘法用于梯度反向传播的方法，并证明该方法可以通过降低所需内存容量，从而更加有效地处理神经网络中的线性层。通过在语义理解任务中对 RoBERTa 模型进行测试，结果表明，该方法即使降低了测试准确度，但仍能实现显著的内存消耗优化。

Jan, 2022

该论文提出了一种基于行和列之和的移动平均数的方法，用于估计神经网络权重矩阵的参数，并解决了自适应方法在更新时产生的过大更新的问题。该方法能够在很少的辅助存储空间中达到与 Adam 默认规则相当的结果。

Apr, 2018

本研究提出了一种主动样本选择的准则，以确定可靠和不冗余的样本，从而使模型更新以最小化测试时适应的熵损失。 同时，引入了一个 Fisher 正则化器，约束重要的模型参数使其不会发生剧烈变化，从而缓解 “灾难性遗忘” 的问题。

Apr, 2022

该研究提出了参数有效的稀疏训练 (PST) 方法，通过减少可训练参数的数量以使得稀疏训练资源有效并具有参数效益，从而解决了稀疏训练时计算开销和内存占用的问题，在 BERT，RoBERTa 和 GPT-2 等网络上得到了有效验证。

May, 2022

本文通过降低激活记录的方法展示了如何显著加速大型 Transformer 模型的训练，并介绍了两种新颖且非常简单的技术：序列并行和选择性激活重算，这些技术几乎消除了重新计算激活的需要，同时减少了超过 90% 的执行时间开销和 5 倍的激活存储器减少。

May, 2022