Oct, 2023

REVO-LION: 评估和优化视觉语言指导调节数据集

PDF
TL;DR本文针对多模态指导调优进行了研究，提出了一种新的评估范式并构建了一套新的数据集 REVO-LION，该数据集包括为发展全能 VLIT 模型提供基础的样本质量、综合性评估及性能可比性验证。
multimodal instruction tuningvlit datasetsmeta qualitydataset qualityrevo-lion
发现论文，激发创造
  • 视觉语言指导调整：综述与分析

    通过对多模式大语言模型的最新图像语言指令调整设置和数据集的系统回顾，我们总结出高质量图像语言调整数据的特点，构建了完整的数据收集、指令生成和质量控制模块的构建流水线，并在所构建的指令数据上对三种广泛使用的多模式大语言模型进行了图像语言指令调整，并通过相应的度量指标进行了大量实验，以论证本文提出的构建原则的合理性。

    Nov, 2023

  • C3L: 通过对比学习生成与内容相关的视觉语言指导调参数据

    通过对图像指令的相关性评分进行计算以增强 VLIT 数据与图像之间的内容相关性，并引入对比学习模块进一步提高大规模视觉语言模型的 VLIT 数据生成能力。

    May, 2024

  • SVIT：扩展视觉指导调整

    通过构建包括 160 万对问答对、106 千个详细图像描述的 320 万视觉指令调整数据集，对多模态模型进行训练可显著提高其在视觉感知、推理和规划方面的多模态性能。

    Jul, 2023

  • 多模态大语言模型的位置增强视觉指令调整

    通过引入区域级别的视觉编码器，本文提出了一种增强图像教学调整功能的多模态大型语言模型（MLLMs），以实现更细粒度的模态交叉对齐，并设计了多种数据生成策略构建了图像 - 区域 - 语言指令数据集，实验结果表明该模型的卓越性能。

    Aug, 2023

  • 魔法后的 MERLIM: 大型图像 - 语言模型的多模态评估基准

    本文介绍了一个名为 MERLIM 的多模式评估基准，用于评估 IT-LVLM 在基本计算机视觉任务中的表现，发现先进的 IT-LVLM 仍然有限于识别精细的视觉概念，对象幻觉在各种任务中普遍存在，而且结果受输入查询的细微变化的强烈偏见影响，即使查询具有相同的语义。研究结果还表明，这些模型在视觉基础上较弱，但仍然可以通过全局视觉模式或 LLM 组件中的文本偏见进行恰当的猜测。

    Dec, 2023

  • 你的视觉语言模型本身就是一个强大的过滤器：走向高质量的指令调优与数据选择

    通过将自己作为过滤器，利用训练后的评分网络来衡量每个指令的难度，并选择最具挑战性的样本，自过滤方法可以在仅使用约 15% 的样本的情况下达到比全数据设置更好的结果，并取得优于竞争基线的性能。

    Feb, 2024

  • 少即是多：用于视觉指令调优的数据值估计

    通过对视觉指令数据集的实证研究，发现其存在显著冗余性，因此提出了一种新的数据选择方法 TIVE，它基于计算梯度估计了视觉指令的任务级别和实例级别价值，并根据估计值确定了视觉指令中的任务比例，选择代表性实例组成较小的训练集，实验证明该方法只需使用约 7.5% 的数据即可在七个基准测试中达到与完整数据微调模型相当甚至超过的性能改进。

    Mar, 2024

  • 重新思考视觉语言模型中被忽视的方面

    该论文研究了大型视觉语言模型（LVLMs）中数据效率的常常被忽视的方面，以及预训练和微调数据的选择过程，旨在优化数据使用来增强视觉语言模型的性能。

    May, 2024

  • ReForm-Eval: 通过任务导向基准的统一重新制定评估大型视觉语言模型

    通过 ReForm-Eval 基准测试，我们对 LVLM 的各种能力进行了全面的定量评估，发现并分析了现有 LVLM 的优点和缺点，并确定了潜在的影响因素。

    Oct, 2023

  • LOVM: 语言优先视觉模型选择

    本研究提出了一种热门研究课题，即如何对多模态视觉 - 语言模型进行选择和预测，并利用新的基准测试 LOVM 来进行考核评估。

    Jun, 2023