peft methods | BriefGPT - AI 论文速递

关键词peft methods

搜索结果 - 8

通过 QLoRA 探索 LLM 中的事实记忆和风格模仿：实验研究与质量评估方法
本研究探讨使用 PEFT 方法之一 - QLoRA 来适应模型的可能性，通过比较样式的质量和生成事实的质量来评估模拟质量。
PDF20 days ago
ACL多模态大语言模型参数高效微调的实证研究
使用四种常见的 PEFT 方法对开源 MLLMs 的 LLM 组件进行微调，比较它们在参数效率方面的表现，结果显示 adapter 是效果最好的 PEFT 方法。
PDF25 days ago
SVFT：具有奇异向量的参数高效微调
通过在参数更新中使用矩阵的稀疏组合，SVFT 方法在仅使用 0.006% 到 0.25% 的可训练参数时，能够恢复高达 96% 的全面微调性能，超过了仅使用 0.03% 到 0.8% 的可训练参数预算恢复的最高 85% 性能。
PDFa month ago
VB-LoRA：基于向量库的极度参数高效的微调
通过使用 “divide-and-share” 范式并引入向量库，VB-LoRA 实现了极高的参数效率同时保持与当前最先进 PEFT 方法相当甚至更好的性能。
PDFa month ago
定制基础模型与低秩提示调适
通过使用 “Low-Rank Prompt Adaptation”，我们提出了一种基于 prompt 调优的方法，它在可接受的参数效率下与最先进的 PEFT 方法和全面调优方法具有相当的性能，而且无需基于服务器的适配器。
PDFa month ago
SPAFIT: 分层渐进调适微调预训练大型语言模型
本研究提出一种基于模型不同层次具有语言知识定位的 PEFT 方法，称为 Stratified Progressive Adaptation Fine-tuning（SPAFIT）。我们在 GLUE 基准测试中进行的实验证明，我们的 SPAF
PDF2 months ago
LoRETTA：用于大型语言模型超低参数微调的低秩经济张量列车适应
LoRETTA 是一个超参数效率的框架，通过张量列车分解显著减少可训练参数，提供高性能轻量化的支持 LLMs 微调的方法。通过权重参数化和小张量因子来实现微调，LoRETTA 在 LLaMA-2-7B 模型上可实现与大多数广泛使用的 PEF
PDF4 months ago
通过知识交互改善参数高效微调
提出了一种新的 fine-tuning 框架，名为 GIST，通过引入 Gist token 和知识交互的概念，增强了 PEFT 方法在下游任务中的性能，进一步提升了预训练模型对下游任务的理解能力。
PDF7 months ago