ICMLJun, 2024
解码低秩适配器中的全球协同效应
Unlocking the Global Synergies in Low-Rank Adapters
Zixi Zhang, Cheng Zhang, Xitong Gao, Robert D. Mullins, George A. Constantinides...
TL;DR我们介绍了 HeteroLoRA,这是一种轻量级的搜索算法,通过利用零成本代理在模型中分配有限的 LoRA 可训练参数,以提高微调性能,并在更具挑战性的搜索空间中展示了 HeteroLoRA 的有效性。