multi-task transfer learning | BriefGPT

关键词multi-task transfer learning

搜索结果 - 6

PEMT：多任务相关导引的专家组合混合使得参数高效迁移学习
我们提出了一种基于多任务迁移学习的新型参数高效微调框架 (PEMT)，通过在源任务上训练适配器的加权组合来捕捉可转移的知识，同时利用任务描述提示向量来衡量目标任务与每个源任务之间的相关性，以充分利用任务特定的知识并提高稀疏性。实验证明，我们
PDF4 months ago
EMNLP贝叶斯多任务转移学习用于软提示调优
我们提出了一种贝叶斯多任务迁移学习方法，通过后验分布的样本获得代表性的源提示，并将其聚合以构成初始目标提示，无需辅助模型，实现高度参数效率。
PDF5 months ago
Context-PEFT: 高效多模态、多任务微调
提出了一种用于多模态、多任务迁移学习的新型参数高效调参方法（PEFT）框架，它通过 LoRA、BitFit 和 IA3 等技术，在几乎不需要可训练参数和 GPU 内存的情况下，展示了与预训练模型完全微调相当的性能，然而，在多模态微调中，经常
PDF7 months ago
使用统一文本到文本转换 Transformer 进行极端多领域、多任务学习
研究了多领域文本转换转换器在 Python Code 和 Chess 领域中 4 个任务上的行为，发现 GPT 风格的联合预训练 + 联合微调策略在多领域，多任务学习中表现最好。
PDF2 years ago
一个统一的可传输的机器学习增强数据库管理系统模型
本文介绍了一种基于多任务迁移学习和预训练微调的统一模型 MTMLF，旨在解决数据库管理系统中现有机器学习方法无法有效探究不同任务间内在联系、同时重复训练大量训练数据的问题，从而实现云数据库服务的革命性发展。同时，作者在块查询优化任务上进行了
PDF3 years ago
针对大规模语言表示的重新加权近端剪枝
本文主要研究了如何压缩大规模的预训练语言模型，并提出 Reweighted Proximal Pruning (RPP) 剪枝方法，实验结果表明该方法不仅能保持预训练和微调任务的高准确性，而且还能使得该模型能够在不同设备上进行部署。
PDF5 years ago