关键词parameter-efficient transfer learning
搜索结果 - 27
- 模式逼近生成优秀的视觉语言提示
本研究提出了 Aurora，一个优美的提示框架，用于跨模态传递，以解决模型复杂性和模态对齐问题。在六个跨模态下游基准测试中， Aurora 不仅优于最先进的方法，甚至优于完全微调方法。
- 使用适配器的参数高效稀疏检索器和重排器
研究了适配器在信息检索领域中的应用，指出适配器 - SPLADE 可以优化只有 2％的训练参数，比全微调模型和现有的参数高效密集 IR 模型表现更佳，并探讨了适配器在跨领域 BEIR 数据集和 TripClick 上的领域自适应，以及 正确 - AAAIFacT：面向视觉 Transformer 的轻量化因子调整
本研究针对实际应用中的存储压力，提出了一种张量分解框架，称为 Factor-Tuning（FacT），通过将 ViT 的权重张量化为一个 3D 张量，并将它们的增量分解为轻量级因子，从而实现 PETL 的极限存储效率，实验结果表明，FacT - ST-Adapter：基于转移学习的高效图像到视频参数适配器
本文针对跨模态参数高效的图像到视频传递学习进行了研究，并提出了一种新的适应器 ——Spatio-Temporal Adapter，可以在较小的成本下实现有关动态视频内容的空时推理能力，并在视频动作识别任务上匹配或超越完全微调策略和最先进的视 - LST: 阶梯侧调法 — 用于参数和内存有效迁移学习
提出了一种基于新颖的 Ladder Side-Tuning (LST) 的参数高效转移学习技术，其不需要通过 backbone 网络进行反向传播，而只需通过侧网络和梯子连接进行反向传播，从而实现了更高的存储效率，同时在自然语言处理（NLP） - 元学习用于参数高效微调
本篇研究证明，考虑下游微调方法会提高轻量级微调技术的性能，通过使用 MAML 和优化元学习技术为轻量级微调方法进行预先训练，我们可以使受过训练的语言模型适合轻量级微调，从而在跨语言 NER 微调中获得高达 1.7 分的收益。
- ACL通过识别自注意力中的核结构来增强参数有效的迁移学习
本文提出了 Kernel-wise Adapters 方法，通过 self-attention 的 kernel 结构指导可调参数的分配，使得 pre-trained language models 能够通过 parameter-effic