BriefGPT.xyz
大模型
Ask
alpha
关键词
peft
搜索结果 - 3
PiSSA:大型语言模型的主要奇异值和奇异向量适应
通过使用降维方法和奇异值分解(SVD)初始化,PiSSA 方法能够在较短的时间内收敛并获得比 LoRA 更好的性能。
PDF
3 months ago
IJCAI
预训练视觉模型的参数高效微调:一项调查
规模化预训练视觉模型(PVMs)在各种下游视觉任务中表现出很大的适应性。然而,随着最先进的 PVMs 达到数十亿甚至数万亿参数,传统的完全微调范式变得难以持续,因为其需要巨大的计算和存储需求。为了应对这一挑战,研究人员正在探索参数高效的微调
→
PDF
5 months ago
通过交叉块编排进行参数高效微调,用于分割任何模型
我们在这篇论文中提出了一种参数高效微调的方法,使用跨块协同和内部块增强机制实现了 Segment Anything Model (SAM) 在各种新情景下的适应性,并通过实验证明了我们的方法在仅使用约 1K 额外参数的情况下显著提高了分割性
→
PDF
7 months ago
Prev
Next