adapter module | BriefGPT - AI 论文速递

关键词adapter module

搜索结果 - 8

学习图像压缩的领域自适应与有监督适配器
通过在解码器中插入适配器模块，我们解决了将预先训练的模型适应于多个目标领域的问题，并使用门网络从适配器中优化地融合贡献，实现了在目标领域上改进的码率失真和编码效率，同时在源领域上没有额外代价。
PDF2 months ago
基于层次循环适配器的大规模语音模型的高效多任务适应
参数高效的适应方法在训练大型预训练模型进行下游任务时已成为关键机制，我们引入一种适应器模块，它在大规模多任务适应情景中具有更好的效率，适应器具有层次分配适应器参数的特点，通过单个共享的控制器网络和多个任务级适应器头减少每个任务的参数开销，同
PDF3 months ago
CVPR基于预训练模型的递增学习的可扩展子空间集成
在这篇论文中，我们提出了基于预训练模型（PTM）的类增量学习的扩展子空间集成（EASE）方法，通过为每个新任务训练一个独立的轻量级适配器模块来实现模型的有效更新，以创建任务特定的子空间，并通过语义引导的原型补全策略合成旧类别的新特征。大量实
PDF4 months ago
Hydra：多头低秩适应，参数高效微调
该论文研究了一种名为 Hydra 的适应方法，它基于并行和顺序适应支路学习到了新的和通用的特征，在 fine-tuning 过程中能够探索更广泛的最优点范围。此外，该方法还利用预训练权重经过线性组合来明确 leverages the pre
PDF10 months ago
CVPRVILA：利用视觉语言预训练学习用户评论中的图像美学
提出一种基于用户评论的图像审美预测方法，使用视觉 - 语言预训练模型学习图像的审美表现，结合排名适配器模块设计了一种高效的模型适配方法。实验结果表明，该模型在图像美学字幕生成、零样本风格分类和零样本图像审美评价等任务上表现良好，达到了预先训
PDFa year ago
高效参数和适合学生的知识蒸馏
本文提出一种参数高效、学生友好的知识蒸馏方法 PESF-KD，通过更新相对较少的参数，实现高效、充分的知识转移，其中引入了适配器模块，将教师的输出转化为合适平滑度的软标签。实验表明，与在线蒸馏方法相比，PESF-KD 能够显著降低培训成本，
PDF2 years ago
ACL层级归纳迁移学习在持续对话学习中的应用
本文提出了一种基于递归传递的框架，通过引入适配器模块和迁移学习来解决在线聊天场景中为每个新任务调整模型导致容量过大及知识忘却问题。实验结果表明，在部署友好型模型容量下，我们的框架表现出可比较的性能
PDF2 years ago
利用特定语言的编码器和解码器实现零 - shot 多语言口语翻译
我们提出的多语言语音翻译方法可以不依赖 MultiSLT 数据集，仅基于 ASR 和 MultiNMT 数据进行训练，通过将语音编码器与 MultiNMT 架构耦合可以在零 - shot 场景下实现类似双语翻译的效果，在我们实验的四种不同语
PDF4 years ago