Jun, 2023

M$^3$IT: 多模态多语言指令调整的大规模数据集

PDF
TL;DR本文介绍了 Multi-Modal Multilingual Instruction Tuning 数据集，其中包含了 40 个经过精心筛选的数据集，共 2.4 百万个实例和 400 个任务指令，可用于优化视觉语言模型的人类指令对齐，同时介绍了在此数据集上训练的 Ying-VLM 视觉语言模型的表现。
发现论文，激发创造
  • MIMIC-IT: 多模态环境下指令调整

    介绍了包含大规模多模态指令响应对的 MIMIC-IT 数据集，使用该数据集训练的 Otter 模型表现出出色的多模态感知、推理和语境学习能力，能有效地与用户意图保持一致。

    Jun, 2023

  • 3DMIT: 3D 多模态指导调整用于场景理解

    我们构建了一个包含 75K 个指令 - 回答对的广泛数据集，针对 3D 场景进行了任务，如 3D VQA、3D grounding 和 3D conversation，并引入了一种名为 3DMIT 的新颖且高效的提示调优范例，通过将 3D 空间信息整合到 LLMs 中，使其更好地理解 3D 世界。

    Jan, 2024

  • SVIT：扩展视觉指导调整

    通过构建包括 160 万对问答对、106 千个详细图像描述的 320 万视觉指令调整数据集，对多模态模型进行训练可显著提高其在视觉感知、推理和规划方面的多模态性能。

    Jul, 2023

  • 多模态大语言模型的位置增强视觉指令调整

    通过引入区域级别的视觉编码器，本文提出了一种增强图像教学调整功能的多模态大型语言模型（MLLMs），以实现更细粒度的模态交叉对齐，并设计了多种数据生成策略构建了图像 - 区域 - 语言指令数据集，实验结果表明该模型的卓越性能。

    Aug, 2023

  • MM-Instruct: 大型多模态模型对齐的生成视觉指令

    该研究介绍了 MM-Instruct，这是一个大规模、多样化和高质量的视觉指导数据集，旨在增强大型多模态模型（LMMs）的指令跟随能力，并通过使用现有的 LLMs 从大规模图像字幕数据集生成新的视觉指导数据，并介绍了一个基于生成的指导数据来评估现有 LMMs 的指令跟随能力的基准。

    Jun, 2024

  • M3DBench：利用多模态 3D 提示指导大型模型

    我们引入了一个名为 M3DBench 的全面的 3D 指令跟随数据集，支持多模式指令与文本、图像、3D 物体和其他视觉提示相互交错，统一了不同的 3D 任务，是一个大规模的 3D 指令跟随数据集，收集了超过 320,000 个指令响应对，并建立了一个评估大型模型在理解多模态 3D 提示方面性能的新基准。广泛的实验证明了我们数据集和基准模型的有效性，支持通用的 3D 中心任务，这将激发未来的研究。

    Dec, 2023

  • 视觉语言指导调整：综述与分析

    通过对多模式大语言模型的最新图像语言指令调整设置和数据集的系统回顾，我们总结出高质量图像语言调整数据的特点，构建了完整的数据收集、指令生成和质量控制模块的构建流水线，并在所构建的指令数据上对三种广泛使用的多模式大语言模型进行了图像语言指令调整，并通过相应的度量指标进行了大量实验，以论证本文提出的构建原则的合理性。

    Nov, 2023

  • MultiInstruct: 通过指令调整提高多模态零样本学习

    本研究提出了 MultiInstruct，这是第一个多模态指令调优基准数据集，旨在设计多个特定的任务和多个专家编写的指令，使用已存在的开源数据集和多个迁移学习策略来优化 OFM 模型的强零示性能，并且探索了一个新的评估指标：敏感性。

    Dec, 2022

  • Mosaic IT：利用数据镶嵌增强指令调优

    通过引入 Mosaic Instruction Tuning (Mosaic-IT) 方法，本研究提供了一种人 / 模型无关的有效方式来增强通过现有指令调校数据进行细调训练的语言模型的能力，并实现了一致优于各种基准测试、训练成本减少 80% 的性能提升。

    May, 2024

  • LAMM: 多模态指导语言调整数据集，框架和基准测试

    这篇研究将大型语言模型（MLLM）扩展到处理点云，建立了 LAMM 数据集和基准，为 MLLM 建立了可扩展的框架以适用于额外的模态，任务和领域。

    Jun, 2023