ICMLMay, 2024
ETHER: 大规模模型的高维超平面反射高效微调
ETHER: Efficient Finetuning of Large-Scale Models with Hyperplane Reflections
Massimo Bini, Karsten Roth, Zeynep Akata, Anna Khoreva
TL;DR我们提出了 ETHER 转换家族,通过超平面反射来实现高效微调,其需要较少的参数,对超参数和学习率选择具有鲁棒性,并在多个图像合成和自然语言任务中与现有的参数高效微调方法相匹配或超越,同时引发对 Hyperspherical 能量保留在实际上的可用性问题。