大规模视觉语言模型的稳定低精度训练
本文提出了一个统一的 INT8 训练框架,基于四个梯度特征和两个稳定性原则,以及两种普适性技术,包括方向敏感梯度裁剪和偏移抵消学习率缩放,可以支持各种网络和任务,并在不使用太多优化方法的情况下将训练时间降低了22%。
Dec, 2019
本篇研究介绍了一种对于大型视觉-语言模型进行压缩的方法,该方法利用蒸馏和剪枝技术,通过知识蒸馏和模态自适应剪枝等手段来获取一个更快、更小但更准确的模型。最终得到的EfficientVLM模型仅含有9300万个参数,具有98.4%的性能表现,并在各种视觉-语言任务中取得了令人瞩目的结果。
Oct, 2022
提出一种轻量级的适配器方法,通过更新预测接近观察数据点的模型以加快更新速度,并保持经典微调方法外数据的正确性,以实现在小样本学习领域中,在训练过程中看得到和看不到的类别上结果均与或优于现有技术水平。
Dec, 2022
本文探讨了通过转移学习和最小更新已经训练好的视觉模型和语言模型创建对比视觉-语言模型的效率和性能,发现在少量参数更新(<7%)的情况下即可达到全模型训练的性能,而在更新特定组件(<1%的参数)的情况下,也可以达到75%的全模型训练性能。
Mar, 2023
通过在图像文本对上进行预训练和在受监督的视觉语言指导数据上进行微调的两阶段训练,多模态大型语言模型实现了其遵循指令的能力。本文介绍了InstructionGPT-4,该模型在仅包括200个示例的小数据集上进行了微调,相当于MiniGPT-4对齐数据集中使用的指令遵循数据的约6%。我们首先提出了几个用于评估多模态指令数据质量的度量标准。基于这些度量标准,我们提出了一种简单而有效的数据选择器,用于自动识别和过滤低质量的视觉语言数据。采用这种方法,InstructionGPT-4在各种评估(如视觉问答、GPT-4偏好)上的表现优于原始的MiniGPT-4。总的来说,我们的研究结果表明,较少但高质量的微调数据能够有效地提高多模态大型语言模型的输出质量。
Aug, 2023
本文介绍了一种用于选择FP8线性层缩放的方法,基于动态更新权重、梯度和激活值的每张张量尺度,用于训练和验证GPT和Llama 2等大型语言模型。
Sep, 2023
通过采用更高效的方法,我们提出了基于QFormer的图像-语言对齐策略,并证明了与现有基准方法相比,我们的策略在提高图像-语言预训练效率方面的有效性。
Nov, 2023
SOLO是一种用于可伸缩视觉-语言建模的单一Transformer,其在扩展性上有效地解决了视觉-语言模型中的瓶颈问题,尤其在视觉数学推理方面表现出色。
Jul, 2024
在这篇论文中,我们研究了大规模预训练视觉-语言模型中的过拟合和灾难性遗忘问题,并提出了一种基于量化的正则化方法,以提高模型的泛化能力和专业化能力,并降低存储和推断成本。
Jul, 2024