parameter-efficient training | BriefGPT

关键词parameter-efficient training

搜索结果 - 5

CVPRLocLLM: 大型语言模型通过人体关键点定位实现通用化
通过使用文本描述中的关键点线索，借助 LocLLM，将大规模语言模型（LLM）与图像和文本指令作为输入，输出所需的关键点坐标，有效扩展了现有的关键点定位模型的能力。
PDFa month ago
ACL融合领域适应视觉和语言模型的医学视觉问答
通过在医学领域中使用大型视觉和语言模型，在三个不同的生物医学和放射学多模态视觉和文本数据集上进行三个阶段的参数高效训练后，提出了一种医学视觉语言模型。这个模型在 SLAKE 1.0 医学问答 (MedVQA) 数据集上实现了最新的性能，整体
PDF2 months ago
CVPRMTLoRA：一种用于高效多任务学习的低秩适应方法
本文介绍了一种新的多任务学习（MTL）模型的参数有效训练框架 MTLoRA，该框架通过使用任务无关和任务特定的低秩适应模块，在 MTL 微调中有效地解离参数空间，从而使模型能够熟练处理 MTL 环境中的任务专业化和交互，并且在 PASCAL
PDF3 months ago
ICLR通过参数有效的迁移学习对视觉到语言的对比对齐
本文探讨了通过转移学习和最小更新已经训练好的视觉模型和语言模型创建对比视觉 - 语言模型的效率和性能，发现在少量参数更新（<7%）的情况下即可达到全模型训练的性能，而在更新特定组件（<1% 的参数）的情况下，也可以达到 75% 的全模型训练
PDFa year ago
Nebula-I: 低带宽云集群上协同训练深度学习模型的通用框架
该论文介绍了一个名为 Nebula-I 的框架，用于在远程异构集群之间协作训练深度学习模型，展示了 NLP 的实例运行。Nebula-I 应用了参数高效的训练策略、混合并行计算方法和自适应通信加速技术，同时采用安全策略以保证计算和通信的安全
PDF2 years ago