BriefGPT.xyz
大模型
Ask
alpha
关键词
pre-training phase
搜索结果 - 2
通过动态参数调整彻底改变大型语言模型训练
在大语言模型时代,提高计算资源的有效利用需求变得非常重要。本文基于 LoRA 精调方法,引入了一种新颖的参数高效训练技术,通过频繁改变可训练参数的一部分,提高了有效的预训练。我们的方法不仅在预训练阶段实现了内存和计算开销减少,与当前最先进的
→
PDF
a month ago
AlignGPT: 具有自适应对齐能力的多模态大型语言模型
利用新的多模态大型语言模型 AlignGPT,通过在预训练阶段为不同的图像 - 文本对分配不同级别的对齐能力,并在指导微调阶段自适应地组合这些不同级别的对齐能力,以满足不同指令的动态对齐需求,取得了 12 个基准测试的竞争性性能。
PDF
a month ago
Prev
Next