BriefGPT.xyz
Jun, 2024
解码低秩适配器中的全球协同效应
Unlocking the Global Synergies in Low-Rank Adapters
HTML
PDF
Zixi Zhang, Cheng Zhang, Xitong Gao, Robert D. Mullins, George A. Constantinides...
TL;DR
我们介绍了HeteroLoRA，这是一种轻量级的搜索算法，通过利用零成本代理在模型中分配有限的LoRA可训练参数，以提高微调性能，并在更具挑战性的搜索空间中展示了HeteroLoRA的有效性。
Abstract
low-rank adaption
(LoRA) has been the de-facto parameter-efficient
fine-tuning technique
for large language models. We present
heterolora
,
→