parameter-efficient methods | BriefGPT

关键词parameter-efficient methods

搜索结果 - 8

SA-FedLora: 针对 LoRA 调节的高效联邦学习自适应参数分配
通过减少可训练参数，我们提出了一种基于模拟退火的联邦学习与低秩适应（SA-FedLoRA）方法，旨在在大规模预训练模型的微调中实现更高的收敛性和通信效率。实验结果表明，SA-FedLoRA 在联邦学习中是一种高效的方法，相比 FedAvg，
PDF2 months ago
大型卷积模型的参数高效调优
通过细调滤波核元素，我们引入了一个简单的方法来改进现有的微调方法，以提取面向任务的表示，这种方法在区分和生成任务方面优于之前的微调基准。
PDF4 months ago
有效且参数优化的复用微调模型
提出了针对使用多个经过精调的特定任务模型的参数高效重用方法 PERU。通过稀疏任务向量注入到合并模型中，通过截断幅值来创造 PERU-FFT，以重用完全精调的模型。通过奇异值分解来近似 LoRA 矩阵，提出了使用低秩矩阵重用 LoRA 精调
PDF9 months ago
ACL预训练语言模型去偏方法参数效率的实证分析
本文研究如何使用计算资源相对较小的方法，结合反事实数据增强技术（CDA）来减少预先训练的语言模型中的偏见，发现参数有效的方法能够有效地减少性别偏见，但对于种族和宗教偏见效果较差，且与全细调的性能相当。
PDFa year ago
自我监督模型引导的普适框架，以提高参数效率的微调
提出了一个增强参数高效方法的少样本适应和跨领域泛化能力的通用框架，通过使用自监督模型来迅速适应各种下游少样本任务，并在一个包含 160 个不同 NLP 任务的跨领域基准上进行了实验证明，在额外的训练任务调整 PLM 的前提下最佳性能，综合分
PDF2 years ago
通过重用参数高效的提示来减少重新训练
该研究提出了几种 “Prompt Recycling” 方法，在不需要重新进行调整 prompts 的情况下，将源模型训练的 prompts 转换成适用于新目标模型的 prompts，从而实现对单个预先训练的大型语言模型进行多个任务的有效执
PDF2 years ago
COLING跨语言和多语言检索的参数高效神经多次排名
研究采用稀疏微调掩码和适配器等参数优化方法，提出轻量级的零 - shot 转移多语言和跨语言检索算法，能够快速生成更为高效精确的语义排名结果。
PDF2 years ago
ACLSPoT: 通过软提示传递实现更好的冻结模型调整
本文介绍了一种使用少量参数进行预训练语言模型在下游任务中的应用实现，该方法名为 SPoT：Soft Prompt Transfer，通过学习源任务的 prompt 来初始化目标任务的 prompt，从而提升了 Prompt Tuning 的
PDF3 years ago