该研究提出了一种针对各种 DNN 层的精细结构修剪通用类别，并支持不同 DNN 和不同修剪方案的综合编译自动代码生成框架，进一步提出了一个编译器感知的网络修剪与架构搜索（NPAS) 方法，利用基于强化学习的元模型过程解决大规模搜索空间问题，以获得比先前工作更好的手机图像分类性能。

Dec, 2020

深度学习模型的可扩展性受到计算资源、内存和通讯的根本限制。本文在模型预训练中探索了低秩适应（LoRA）方法的应用，介绍了 LoRA-the-Explorer（LTE）算法，通过在计算节点上进行多个低秩头的并行训练来减少同步频率，使用不同视觉数据集进行广泛实验，并证明 LTE 在标准预训练中具有竞争力。

Feb, 2024

通过对随机参数共享（RPS）方法、剪枝技术和构建更小模型的记忆和准确度之间的权衡进行综合评估，我们的研究结果表明，RPS 相比较于更小模型和各种剪枝策略，如 MAG、SNIP、SYNFLOW 和 GRASP，在整个压缩范围内始终表现出更优的性能，特别是在更高压缩情况下。我们理论上证明了 RPS 在线性模型的记忆效率表示方面优于剪枝技术，从而呼吁向基于 RPS 的模型范式转变。

Oct, 2023

本论文提出了一种名为 PASHA 的方法来处理使用有限计算资源训练大数据集上的机器学习模型的挑战，该方法通过动态分配资源来调整模型，结果表明 PASHA 消耗的计算资源比 ASHA 少得多。

Jul, 2022

通过引入部分旋转增强的低秩适应机制 (PR0LoRA)，本文在大型语言模型 (Large Language Models) 领域提出了一种参数效率更高、适用范围更广的新方法，实验证明 PRoLoRA 在特定参数预算和性能目标场景下具有明显更高的参数效率，并且扩展性更强。希望 PRoLoRA 能作为一种资源友好的替代方法来使用，优于 LoRA 方法。

Feb, 2024

在对大规模预训练语言模型进行提升调优的过程中，我们通过引入稀疏低秩适应性的创新方法（SoRA），使得适应过程中能够动态地调整内在秩，从而提高 LoRA 的表现能力，同时通过更新稀疏方式高效地控制参数数量。实验结果表明，SoRA 在保留 70% 参数和训练时间的情况下，能够胜过其他基准模型。

Nov, 2023

我们介绍了 HeteroLoRA，这是一种轻量级的搜索算法，通过利用零成本代理在模型中分配有限的 LoRA 可训练参数，以提高微调性能，并在更具挑战性的搜索空间中展示了 HeteroLoRA 的有效性。

Jun, 2024

本文介绍了 Pareto-Optimal Progressive Neural Architecture Search (POPNASv3) 的第三个版本，这是一个新的顺序模型优化 NAS 算法，旨在针对不同的硬件环境和多个分类任务。我们的方法能够在大型搜索空间中找到具有竞争力的结构，同时保持灵活的结构和数据处理管道以适应不同的任务。

Dec, 2022

本文提出神经参数分配搜索 (NPAS) 以及 Shapeshifter Networks (SSNs) 算法，通过自动学习神经网络中参数的共享，从而达到内存优化和性能优化的目的。这一方法在多项任务和网络结构中取得良好的效果。

Jun, 2020

通过引入新颖的 Shears 方法，结合成本效益的稀疏性和神经低秩适配器搜索算法，可以进一步提高参数高效微调方法的效率。实验结果表明，与其他方法相比，Shears 方法在达到高稀疏水平的同时，提高了精度或仅稍微降低精度，并利用单个 GPU 进行了一对小时的处理。

Apr, 2024