Jun, 2023
探索密集预测的参数,记忆和时间高效适配器调整:参数高效并不足够
Parameter-efficient is not sufficient: Exploring Parameter, Memory, and Time Efficient Adapter Tuning for Dense Predictions
Dongshuo Yin, Xueting Han, Bin Li, Hao Feng, Jing Bai
TL;DR本文提出了一种名为 E3VA 的参数、内存和时间高效的视觉适配器调节方法,通过梯度反向传播高速公路实现低秩适配器,可以在保持模型性能相当的情况下,节省高达 62.2% 的训练存储器和 26.2% 的训练时间。