adapter tuning | BriefGPT - AI 论文速递

关键词adapter tuning

搜索结果 - 10

CVPR语义偏移增量适配器调整是一种持续的 ViTransformer
提出了一种增量调整的方法，通过逐渐调整共享适配器的参数而不施加参数更新约束，提高骨干网络的学习能力，并使用存储的原型进行特征采样以重新训练统一分类器，进一步改进性能，实验结果验证了该方法的有效性。
PDF3 months ago
X-PEFT：面向极端多个配置的极其参数高效微调
引入 X-PEFT，一种新的参数高效微调方法，通过微调极小的紧凑张量，作为二进制掩码来自适应地选择给定适配器，从而解决适配器数量线性增加的问题，相较于传统的适配器微调，在每个配置文件的内存需求减少了 10000 倍，而在 LaMP 和 GL
PDF5 months ago
AAT：音频变换器在不同声学识别任务中的应用
提出了一种名为 AAT 的基于 Adapter 调谐的高效微调方法，通过冻结音频 Transformer 模型并插入额外可学习的 Adapter，在不损害模型原始普适性的基础上，有效地获取下游任务知识。大量实验证明，该方法在仅优化 7.11
PDF5 months ago
分割与合并：通过稀疏训练释放视觉适配器的潜力
通过提出混合稀疏适配器（MoSA）作为一种新颖的适配器调整方法，旨在充分发挥每个适配器参数的潜力，本研究对一系列 27 个视觉任务进行了广泛实验证明，MoSA 始终比其他适配器调整方法和基准线方法表现更好，并在低资源和多任务设置的两个具有挑
PDF7 months ago
用于自监督编码器 - 解码器语音模型的提示和适配器调整
通过在 Wav2Seq 模型上进行提示和适配器调优，我们在序列生成任务中取得了显著的成果，尤其在 ASR 的词错误率和槽位填充的 F1 分数上相对于往前的工作分别提高了 53% 和 27%。在 7 种语言中，当可训练参数有限时，提示和适配器
PDF9 months ago
MerA：合并预训练适配器进行弱监督学习
通过模型融合，将预训练适配器高效地整合到单一模型，以提高适配器调优的性能，特别是在少样本学习中，相对于单个适配器和网络融合方法，所提出的 MerA 方法在两个预训练语言模型上实现了显著的性能提升，并通过引入 “同路径” 设置进一步增加了模型
PDF10 months ago
ICCV规范化的蒙版调整：揭示预训练视觉语言模型中的隐藏知识
我们设计了一种名为正则化掩码调优的新型调优方法，在下游任务中通过学习的选择来屏蔽网络参数，从而将前期训练阶段中隐藏的有用知识重新引入到视觉语言模型中，通过实验证明了这种方法在不同数据集上的优越性能。
PDFa year ago
ACL基于系统发育适配器的 SemEval-2023 任务 12 情感分析
GMU 使用预训练的 AfroXLMR 模型，在 SemEval-2023 分享任务 AfriSenti-SemEval 中，通过使用适配器调优和数据增强，成功在多个任务中取得最好的成绩。在所有 15 个任务中，我们的系统排名第五。
PDFa year ago
EMNLPSparseAdapter：一种提高 Adapter 参数效率的简单方法
插件调整适用于预训练语言模型中；本研究基于稀疏适配器通过带放大系数的参数情况，实现了大的模型容量；通过使用 SNIP 方法和适当的系数，稀疏适配器可以始终优于对应的常规适配器，并且大稀疏设置可以获得进一步的性能提升，甚至可以大幅超过完全微调
PDF2 years ago
ACL轻量级适配器调整用于多语言语音翻译
本文为多语言语音翻译（ST）提供了适配器的完整分析，其中适配器调整在 NLP 中作为微调的高效替代品，可使 ST 针对特定语言对进行专门优化，并从自动语音识别（ASR）任务和预先训练的 mBART 模型中进行转移，同时节省大量参数，具有与完
PDF3 years ago