parameter-efficient tuning | BriefGPT

关键词parameter-efficient tuning

搜索结果 - 35

LoRA-XS：低秩适应与极小参数
介绍了一种新的参数高效微调方法 LoRA-XS，利用奇异值分解（SVD）在参数高效微调方面取得显著的结果，特别是在较大模型上，比 LoRA 和 VeRA 等最新方法更具参数效率同时保持竞争性能。
PDFa month ago
参数高效连续学习的梯度投影
参数高效梯度投影（PEGP）是第一个在不同调节范例中数学证明提供抗遗忘机制的统一方法，通过将正交梯度投影引入不同的 PET 范例中，从而有效抵制 PET 基础的连续学习中的遗忘现象。
PDFa month ago
AAAI评估医疗 LLM 的微调策略：全参数 vs. 参数高效方法
该研究对两种主要的微调方法 —— 全参数微调和参数高效微调 —— 在医学大型语言模型（LLM）领域进行了全面的分析和比较。通过开发和优化一系列基于 Llama-2 架构的医学 LLM，从而提升医学知识检索、推理和问答的能力，我们系统地评估了
PDF2 months ago
Bailong：基于 QLoRA 和 Zip-tie 嵌入的双语迁移学习
我们结合参数高效调整和高级嵌入初始化技术，通过对英语主导的开源大语言模型进行二次预训练，以提高其在繁体中文上的表现，并进一步引入评估平台来检验模型与人类偏好和指令遵循能力的一致性。我们的评估结果显示，我们的模型在多轮对话任务中相比其他类似的
PDF3 months ago
CVPR语义偏移增量适配器调整是一种持续的 ViTransformer
提出了一种增量调整的方法，通过逐渐调整共享适配器的参数而不施加参数更新约束，提高骨干网络的学习能力，并使用存储的原型进行特征采样以重新训练统一分类器，进一步改进性能，实验结果验证了该方法的有效性。
PDF3 months ago
注意力提示调整：参数高效的预训练模型适应时空建模
通过在 transformer 模块的键和值中直接插入提示信息，我们提出了注意力提示调整（Attention Prompt Tuning，APT）方法，从而在视频行为识别中大大减少了浮点运算和延迟，并在 UCF101、HMDB51 和 SS
PDF4 months ago
大规模语言模型低秩适应的无导数优化
在少样本情境中，本研究通过将低秩模块添加到模型的自注意力层中，并采用两种无导数优化方法来交叉优化这些低秩模块，展示出与现有的基于梯度的参数高效调整和无导数优化方法相比，在多个任务和语言模型上取得了显著改进，并在内存使用和收敛速度方面表现出明
PDF4 months ago
更高层次需要更多的 LoRA 专家
研究提出了一种新颖的参数高效的 MoE 方法，称为 MoLA，适用于基于 Transformer 的模型，通过为每个模型层分配不同数量的 LoRA 专家，该方法在六个著名的 NLP 和常识 QA 基准上展示了与基线相当或更好的性能，该工作可
PDF5 months ago
DAPT：用于大型语言模型参数高效持续学习的双重注意力框架
提出一种新颖的双注意力框架（DAPT），通过双注意力学习和选择模块，对鲁棒性防止灾难性遗忘和促进知识迁移的能力进行了优化。对两个持续学习基准进行了大量实验，证明了 DAPT 相比于现有的方法在抵抗灾难性遗忘和促进知识迁移方面的优越性。此外，
PDF6 months ago
基于即插即用变压器单元的无监督测试时适应
通过引入 PLUTO（Plug-and-pLay modUlar Test-time domain adaptatiOn）方法，本研究介绍了一种预训练模型通过无监督的测试时自适应方法来选择和组合相关模块，实现了动态适应新领域的能力，从而对于
PDF6 months ago
参数高效调节与通用视觉语言模型的结合
通过参数高效调优，利用指令调整和多模态对齐的方法，本研究提出了一种新的通用视觉 - 语言模型训练方法 PETAL，其通过独特的模式近似技术，显著减少了训练成本和对重计算资源的依赖，并在语义深度方面进行了改进。实验证明，PETAL 在多个方面
PDF7 months ago
Res-Tuning：一种通过与主干结构解耦的灵活高效调优范式
参数高效调优的新范式 Res-Tuning 将调优器与网络解耦，从而实现多样调优策略的灵活组合，并通过实验证明其在效能和效率方面优于现有替代方案。
PDF8 months ago
参数高效调整助于语言模型对齐
对大型语言模型进行人类偏好的对齐是确保其安全和有用的关键。先前的研究主要采用强化学习和直接偏好优化等方法进行对齐，但存在某些局限性。为了克服这些限制，本文提出了一种参数高效调优的对齐方法（MEET），通过改进控制标记的质量，在两个知名数据集
PDF9 months ago
ConPET: 大型语言模型的连续参数高效调整
Continual Parameter-Efficient Tuning (ConPET), a generalizable paradigm for continual task adaptation of large language
PDF9 months ago
MVP：用于少样本遥感图像场景分类的元视觉提示调整
Vision Transformer 模型在各种视觉任务中表现出强大和多功能性；本文提出了 Meta Visual Prompt Tuning (MVP) 方法，结合 parameter-efficient tuning 方法并应用于 re
PDF9 months ago
为越南聊天机器人高效微调大型语言模型
通过利用开源项目中的大规模指令遵循数据集，我们采用参数高效调整方法对两个开放许可的大语言模型 (Bloomz 和 GPTJ) 进行了调整，使其在越南语上取得了显著的性能提升，并通过自动评分机制证明我们的方法相对于原始模型在评估任务上的效果提
PDF10 months ago
ICCVVL-PET: 通过粒度控制实现视觉与语言参数高效调整
由于预训练语言模型（PLMs）的模型大小迅速增长，全面微调的训练和存储变得难以承受。在视觉与语言（VL）领域，提出了参数高效调整（PET）技术，将模块化修改（例如 Adapter 和 LoRA）整合到编码器 - 解码器 PLMs 中。通过调
PDF10 months ago
CPET：压缩大型语言模型有效参数高效调整
本文提出了一个基于压缩语言模型的参数有效调整框架，名为 CPET。CPET 在评估了 LLM 压缩技术对 PET 性能的影响后，介绍了知识继承和恢复策略来恢复由于这些压缩技术引起的知识丢失。实验结果表明，与原始 LLM 相比，与压缩 LLM
PDFa year ago
ACLOpenDelta: 面向参数高效调适的即插即用库
本研究介绍了一个名为 OpenDelta 的开源库，通过提供多种增量调优方法的即插即用实现，解决了调优大型预训练模型在优化和存储成本上的挑战，从而使研究人员和实践者能够高效地适应大规模的预训练模型。
PDFa year ago
DeepFake-Adapter: 深度伪造检测的双层适配器
本文提出了第一种参数高效调节 deepfake 检测模型的方法 DeepFake-Adapter，该方法采用适配器模块从大型预训练 Vision Transformers 中提取高级语义，以有效且高效地帮助 deepfake 检测。通过在
PDFa year ago