delta tuning | BriefGPT - AI 论文速递

关键词delta tuning

搜索结果 - 4

ACLOpenDelta: 面向参数高效调适的即插即用库
本研究介绍了一个名为 OpenDelta 的开源库，通过提供多种增量调优方法的即插即用实现，解决了调优大型预训练模型在优化和存储成本上的挑战，从而使研究人员和实践者能够高效地适应大规模的预训练模型。
PDFa year ago
AdapterGNN: 图神经网络中的有效 Delta 调整提升泛化能力
本研究提出了一种新的 delta 调节方法（AdapterGNN），用于图神经网络，通过具有高度表现力的适配器实现对下游任务的适应，从而仅使用少量参数，在化学和生物领域分别超过了完全微调 1.4％和 5.5％。实验结果表明 AdapterG
PDFa year ago
EMNLP不同曲调同等技巧演奏：探索一个用于 Delta 调制的统一优化子空间
通过研究 Delta tuning 的最新模型，我们提出一种用于连接不同模型的统一优化子空间的低维优化参数的假设，并通过研究不同模型之间的关联性，探究这一假设。我们发现，在这个假设下，不同的 Delta tuning 可以实现互相转移，并且
PDF2 years ago
Delta 调参：针对预训练语言模型的参数高效方法的全面研究
本文首先正式描述了 delta tuning 的问题，然后全面审查了最近的 delta tuning 方法，并提出了一个统一的分类标准，将现有的 delta tuning 方法分为三组：基于加法、基于规范和基于重新参数化的方法。最后，我们对
PDF2 years ago