本研究从神经结构搜索的角度探讨了在few-shot识别中如何设计最优的适应策略，包括适配器的排列方式、哪些层保持冻结、哪些层进行微调等，并在Meta-Dataset和Meta-Album上展示了技术的普适性和最新的性能。

Jun, 2023

引入X-PEFT，一种新的参数高效微调方法，通过微调极小的紧凑张量，作为二进制掩码来自适应地选择给定适配器，从而解决适配器数量线性增加的问题，相较于传统的适配器微调，在每个配置文件的内存需求减少了10000倍，而在LaMP和GLUE任务中表现出与传统适配器微调相当或超越的效果。

Jan, 2024

Parameter Efficient Fine-Tuning (PEFT)方法和Representation EDiting (RED)方法是解决神经模型微调中的可调超参数选择和可训练参数数量减少的关键研究领域和主题，通过对多种模型进行广泛实验，证明了RED方法在大型神经模型中的高效性和优越性。

Feb, 2024

参数高效微调机制及其在神经网络中的隆升模块对称性研究及分析。

Feb, 2024

通过介绍Parameter Efficient Fine-Tuning算法以及系统实现相关内容，该论文对大模型在计算成本方面的问题进行了综述，提供了对性能和系统实施的深入洞察，为研究人员了解最新发展和实际应用提供了不可或缺的资源。

Mar, 2024

研究了参数高效调优方法与预训练深度神经网络的关联，提出了将预训练权重矩阵的光谱信息融入调优过程的两种机制：加性调优和正交旋转顶级奇异向量。实验证明该方法能提高低秩适配器的秩能力，使得参数效率和调优性能得到提升，并对多适配器融合也有益处。

May, 2024

通过选择稀疏子矩阵以减少计算资源开销和内存消耗，我们介绍了一种名为Sparse Matrix Tuning (SMT)的方法，用于填补参数有效微调（PEFT）与完全微调（FT）之间的性能差距，并在多个任务中展示了其超越了其他PEFT的基准方法（如LoRA和DoRA），同时与FT相比，GPU内存占用减少了67%。

May, 2024

通过在参数更新中使用矩阵的稀疏组合，SVFT方法在仅使用0.006%到0.25%的可训练参数时，能够恢复高达96%的全面微调性能，超过了仅使用0.03%到0.8%的可训练参数预算恢复的最高85%性能。

May, 2024

基于分解透视的参数高效调优方法（PEFT）解析和优化基础模型，引入两种新的PEFT方法和一个简单而有效的框架，通过实证验证展示了这些方法的理论有效性和实用性能改进，深化了研究者对PEFT和其他技术的理解。

Jul, 2024

本研究解决了低秩适应方法（LoRA）在高性能微调中的局限性，尤其是在计算和内存效率方面。提出的循环卷积适应方法（C$^3$A）不仅实现了更高的适应性，还在资源利用上表现优越，实验结果表明其在各种微调任务中持续超越LoRA及其变种。

Jul, 2024