multi-task adaptation | BriefGPT

关键词multi-task adaptation

搜索结果 - 5

彩票适应性：减轻 LLM 中的破坏性干扰
Lottery Ticket Adaptation (LoTA) is a sparse adaptation method for large language models that improves performance on mu
PDF10 days ago
基于层次循环适配器的大规模语音模型的高效多任务适应
参数高效的适应方法在训练大型预训练模型进行下游任务时已成为关键机制，我们引入一种适应器模块，它在大规模多任务适应情景中具有更好的效率，适应器具有层次分配适应器参数的特点，通过单个共享的控制器网络和多个任务级适应器头减少每个任务的参数开销，同
PDF3 months ago
AAAIVMT-Adapter: 多任务强化学习的参数高效迁移学习
大规模预训练模型已在各种计算机视觉任务中取得了显著成果。然而，与其它单一任务的适应性方法相比，在多任务适应方面的研究有限，这些方法往往表现出次优的训练和推理效率。本文首先提出了一种全能视觉多任务适配器（VMT-Adapter），其训练和推理
PDF7 months ago
MultiLoRA: 提升多任务学习效果的 LoRA 民主化
提出了 MultiLoRA，通过减少 LoRA 中观察到的顶层奇异向量的主导性，通过水平扩展 LoRA 模块和改变适应矩阵的参数初始化来减少参数依赖性，从而产生更平衡的单元子空间，从而实现更好的多任务适应性。MultiLoRA 在多个基准和
PDF7 months ago
多预测：用于高效神经架构搜索的少样本预测器
本文提出了一种基于零成本代理的搜索空间无关神经网络编码方法，以实现对多个任务、搜索空间和硬件设备的准确性和延迟预测进行多任务、多搜索空间和多硬件的自适应，从而在提高端到端样本效率方面取得了显著的效果。
PDFa year ago