CVPRApr, 2024

EmoVIT：利用视觉指令调整革新情绪洞察

PDF
TL;DR以 EmoVIT 架构为基础，使用 GPT 辅助流程生成情感视觉指令数据，并通过广泛实验证明了模型在情感分类、情感推理和幽默理解方面的能力，为语言模型时代的情感视觉指导调整提供了强有力的基准，并为未来的探索打开了新的可能性。
visual instruction tuningemotion recognitiongpt-assisted pipelineemovit architecturellms
发现论文，激发创造
  • 多模态大语言模型的位置增强视觉指令调整

    通过引入区域级别的视觉编码器，本文提出了一种增强图像教学调整功能的多模态大型语言模型（MLLMs），以实现更细粒度的模态交叉对齐，并设计了多种数据生成策略构建了图像 - 区域 - 语言指令数据集，实验结果表明该模型的卓越性能。

    Aug, 2023

  • 通向通用多模型的视觉指导调整：一项调查

    本文系统综述了视觉指令调整方法，包括计算机视觉任务范式、视觉指令调整的发展、常用的网络架构、评估设置和任务、常用的数据集、已有的视觉指令调整方法的分类和对比、挑战和未来研究方向。

    Dec, 2023

  • SVIT：扩展视觉指导调整

    通过构建包括 160 万对问答对、106 千个详细图像描述的 320 万视觉指令调整数据集，对多模态模型进行训练可显著提高其在视觉感知、推理和规划方面的多模态性能。

    Jul, 2023

  • 生成式视觉指导调整

    使用机器生成的指令跟随数据，通过集成对生成和图像编辑任务的支持，我们改进了一个大型多模态模型的零样本能力。我们构建了一个新的多模态指令跟随数据集，并使用 GPT-4V 和现有的图像生成和编辑数据集。通过三种类型的大型预训练模型的指令微调策略（语言模型的 LLaMA，图像文本匹配的 SigLIP，文本到图像生成的 StableDiffusion），我们建立了 GenLLaVA，一个生成性的大型语言与视觉助手。我们的模型在视觉理解任务上表现出与 LLaVA 相当的能力，并且与 Unified-IO 2 等本地多模态模型展示了有竞争力的结果，为构建先进的通用视觉助手铺平了道路。我们公开了数据集、代码库和模型检查点，以促进该领域的进一步研究与应用。

    Jun, 2024

  • 稳定的 LLaVA：通过合成的图像对话数据增强视觉指导调整

    我们提出了一种新的数据收集方法，通过异步合成图像和对话以进行视觉指导调优，结合 ChatGPT 和文本到图像生成模型的能力，显著增强了多种模型功能。

    Aug, 2023

  • 生物医学视觉教学优化与临床医师偏好一致性调整

    本文提出了一种数据中心的框架 BioMed-VITAL，将临床医生的偏好纳入到生成和选择生物医学多模式基础模型调整的指导数据的过程中，并通过这种方法获得的指导数据进行调整后的模型在开放式视觉对话和医疗问答中表现出显著改进。

    Jun, 2024

  • Instruction-ViT: ViT 中用于指令学习的多模态提示

    本篇论文研究了采用提示（prompt）对图片进行分类的方法，通过引入多模质询与 fine-tuning 相结合的方式，提高了图片分类的性能和领域适应性。

    Apr, 2023

  • 视觉指令调整

    本文利用语言模型 GPT-4 生成多模态图文指令序列来优化多模态模型，得到了新的模型 LLaVA 并在多个数据集上表现出色。

    Apr, 2023

  • 视觉语言指导调整：综述与分析

    通过对多模式大语言模型的最新图像语言指令调整设置和数据集的系统回顾，我们总结出高质量图像语言调整数据的特点，构建了完整的数据收集、指令生成和质量控制模块的构建流水线，并在所构建的指令数据上对三种广泛使用的多模式大语言模型进行了图像语言指令调整，并通过相应的度量指标进行了大量实验，以论证本文提出的构建原则的合理性。

    Nov, 2023

  • 看得见才能相信：促进 GPT-4V 实现更好的视觉指导调优

    通过使用来自 LVIS 的图像激励强大的 GPT-4V 生成 220K 个视觉对齐和上下文感知指令，我们推出了一个细粒度的视觉指令数据集 LVIS-Instruct4V，并通过实验验证和案例研究证明，高质量的视觉指令数据可以显著提高现有最先进的大型多模态模型 LLaVA-1.5 在各类基准测试中的性能。

    Nov, 2023