Aug, 2023
UniPT: 通用并行调优的高效参数和内存迁移学习
UniPT: Universal Parallel Tuning for Transfer Learning with Efficient Parameter and Memory
Haiwen Diao, Bo Wan, Ying Zhang, Xu Jia, Huchuan Lu...
TL;DR提出了一种名为 Universal Parallel Tuning (UniPT) 的新型内存高效 PETL 策略,通过轻量级的可学习并行网络进行传输过程,减少内存消耗,并在不同架构上在低内存场景下实现更高的性能。