Apr, 2023

大规模视觉语言模型的稳定低精度训练

HTML
PDF
TL;DR本文提出针对大型语言视觉模型加速和稳定性训练的新方法，包括SwitchBack技术和AdamW-Adafactor混合的StableAdamW技术，提高了模型的训练速度和稳定性。
发现论文，激发创造
  • 面向卷积神经网络的统一INT8训练

    本文提出了一个统一的 INT8 训练框架，基于四个梯度特征和两个稳定性原则，以及两种普适性技术，包括方向敏感梯度裁剪和偏移抵消学习率缩放，可以支持各种网络和任务，并在不使用太多优化方法的情况下将训练时间降低了22％。

    Dec, 2019

  • EfficientVLM：通过知识蒸馏和模态自适应修剪实现快速和准确的视觉语言模型

    本篇研究介绍了一种对于大型视觉-语言模型进行压缩的方法，该方法利用蒸馏和剪枝技术，通过知识蒸馏和模态自适应剪枝等手段来获取一个更快、更小但更准确的模型。最终得到的EfficientVLM模型仅含有9300万个参数，具有98.4％的性能表现，并在各种视觉-语言任务中取得了令人瞩目的结果。

    Oct, 2022

  • 定位潜在更新用于微调视觉语言模型

    提出一种轻量级的适配器方法，通过更新预测接近观察数据点的模型以加快更新速度，并保持经典微调方法外数据的正确性，以实现在小样本学习领域中，在训练过程中看得到和看不到的类别上结果均与或优于现有技术水平。

    Dec, 2022

  • 通过参数有效的迁移学习对视觉到语言的对比对齐

    本文探讨了通过转移学习和最小更新已经训练好的视觉模型和语言模型创建对比视觉-语言模型的效率和性能，发现在少量参数更新（<7%）的情况下即可达到全模型训练的性能，而在更新特定组件（<1%的参数）的情况下，也可以达到75%的全模型训练性能。

    Mar, 2023

  • InstructionGPT-4：Fine-Tuning MiniGPT-4 的 200 指令范式

    通过在图像文本对上进行预训练和在受监督的视觉语言指导数据上进行微调的两阶段训练，多模态大型语言模型实现了其遵循指令的能力。本文介绍了InstructionGPT-4，该模型在仅包括200个示例的小数据集上进行了微调，相当于MiniGPT-4对齐数据集中使用的指令遵循数据的约6％。我们首先提出了几个用于评估多模态指令数据质量的度量标准。基于这些度量标准，我们提出了一种简单而有效的数据选择器，用于自动识别和过滤低质量的视觉语言数据。采用这种方法，InstructionGPT-4在各种评估（如视觉问答、GPT-4偏好）上的表现优于原始的MiniGPT-4。总的来说，我们的研究结果表明，较少但高质量的微调数据能够有效地提高多模态大型语言模型的输出质量。

    Aug, 2023

  • 使用8位浮点数进行大型语言模型的训练和推理

    本文介绍了一种用于选择FP8线性层缩放的方法，基于动态更新权重、梯度和激活值的每张张量尺度，用于训练和验证GPT和Llama 2等大型语言模型。

    Sep, 2023

  • 语言主导 QFormer 用于高效的视觉语言理解

    通过采用更高效的方法，我们提出了基于QFormer的图像-语言对齐策略，并证明了与现有基准方法相比，我们的策略在提高图像-语言预训练效率方面的有效性。

    Nov, 2023

  • 重新思考视觉语言模型中被忽视的方面

    该论文研究了大型视觉语言模型（LVLMs）中数据效率的常常被忽视的方面，以及预训练和微调数据的选择过程，旨在优化数据使用来增强视觉语言模型的性能。

    May, 2024

  • 可扩展的视觉语言建模单一变压器

    SOLO是一种用于可伸缩视觉-语言建模的单一Transformer，其在扩展性上有效地解决了视觉-语言模型中的瓶颈问题，尤其在视觉数学推理方面表现出色。

    Jul, 2024

  • 视觉-语言模型的高效泛化的量化提示

    在这篇论文中，我们研究了大规模预训练视觉-语言模型中的过拟合和灾难性遗忘问题，并提出了一种基于量化的正则化方法，以提高模型的泛化能力和专业化能力，并降低存储和推断成本。

    Jul, 2024