Mar, 2024

细调的多模态语言模型是高质量的图像文本数据过滤器

PDF
TL;DR通过细调多模式语言模型，进行图像文本数据的过滤，设计了四个综合衡量图像文本数据质量的度量标准，并建立了一个新的流水线用于构建高质量指导数据，以提高预训练模型性能。在不同模型和任务上，与传统方法相比，我们的多模式语言模型过滤器取得了显著的改进效果。
发现论文，激发创造
  • 数字中的魔鬼：走向稳健的多模式数据过滤器

    通过分析多模态数据集，我们观察到包含数字等冗余信息对 CLIP 得分的深远影响，因此提出了一种基于文本的过滤方法，实验证明在选择数据的过程中超过原始 CLIP 得分过滤器的性能表现，并提供了改善 CLIP 训练有效性的有价值洞见，包括语言重写技术。

    Sep, 2023

  • 谁在内部谁在外部？DataComp 中多模态 CLIP 过滤的案例研究

    我们的研究发现，数据过滤方法在图像和文本领域也存在偏见和价值观，并且与一些边缘群体相关的数据更容易被排除。此外，我们还发现现有的数据过滤方法可能加剧数据收集中存在的不平衡问题，并且有必要对数据集的创建和过滤做出根本性的改变。

    May, 2024

  • 基于质量驱动数据选择的课程学习

    通过利用图像文字相互关系和模型困惑度评估选择数据的品质，本研究提出了一种利用两个属性在二维空间选择数据的数据选择方法。研究结果表明，相比于使用完整数据集，在五种常见能力上得到了显著提升，可以构建不同品质的多阶段子集以促进课程学习。

    Jun, 2024

  • CLAMP：对比式语言模型启发调节

    研究论文简介：本文研究了大型语言模型在图像分类方面的应用，通过对多模态语言模型进行轻微微调，使用对比式图像 - 标题匹配目标，取得了比目前最先进的 MLLMs 提高了 13% 的图像分类性能，同时保留了语言模型的生成能力。

    Dec, 2023

  • FILTER：跨语言语言理解的增强融合方法

    本文提出了 FILTER 方法，该方法利用跨语言数据增强 XLM 微调，通过跨语言融合中间层来提取多语言知识，使用自生成的软伪标签和 KL 散度自我训练损失来解决任务挑战，显著提高了 XTREME 和 XGLUE 两个多语言多任务基准的性能。

    Sep, 2020

  • 视觉语言领域数据效率掩码语言建模

    本文研究在跨模态预训练中使用遮蔽语言建模（Masked Language Modeling，简称 MLM）的一些问题，提出了一些针对这些问题的替代遮蔽策略，在 LXMERT 模型预训练时，我们的替代策略始终优于原始遮蔽策略，特别是在低资源设置下，我们的预训练方法显著优于基准模型，并且通过对影像对象的特定标记任务的评估，我们的结果和分析表明，该方法允许更好地利用训练数据。

    Sep, 2021

  • 你的视觉语言模型本身就是一个强大的过滤器：走向高质量的指令调优与数据选择

    通过将自己作为过滤器，利用训练后的评分网络来衡量每个指令的难度，并选择最具挑战性的样本，自过滤方法可以在仅使用约 15% 的样本的情况下达到比全数据设置更好的结果，并取得优于竞争基线的性能。

    Feb, 2024

  • SIEVE: 利用图像字幕模型进行多模态数据集修剪

    使用图像 - 文本模型预训练的数据集来对模型进行裁剪是一种成功的方法，但它存在一些限制。为解决这些问题，我们提出了一种名为 SIEVE 的方法，它使用由经过预训练的图像 - 文本模型生成的合成标题来评估图像 - 文本对的一致性，并在大规模和中等规模的数据集上取得了最先进的性能。

    Oct, 2023

  • 多模态大型语言模型对图像质量评估的全面研究

    通过对多模态大语言模型（MLLMs）在图像质量评估（IQA）中的应用进行综合系统的研究和探索，发现仅有关闭源 GPT-4V 能够合理地描述人类对图像质量的感知，但在细粒度的质量变化（如颜色差异）和多图像的视觉质量比较等任务上较为薄弱。

    Mar, 2024

  • LightCLIP：轻量级视觉语言模型的多层交互学习

    本文介绍了一种用于训练轻量级 CLIP 模型的多级交互范式，包括改进的全局实例级对齐目标、基于放松二分匹配的令牌级对齐目标以及使用遮蔽语言建模的额外目标。实验结果表明，该方法在多个下游任务中实现了更高的性能。

    Dec, 2023