Oct, 2023

Ziya-VL: 多任务指导微调的双语大型视觉语言模型

PDF
TL;DR通过引入视觉语义，将大规模的视觉 - 语言模型 (LVLMs) 融合到多模态对话中，Ziya-VL 在英语和汉语多模态场景中展现出了具有竞争力的图片 - 文本生成和理解能力。
large language modelszero-shot image-to-text generationziya-vl seriesmulti-modal dialoguechinese multi-modal scenario dialogues
发现论文，激发创造
  • 视觉指令调整

    本文利用语言模型 GPT-4 生成多模态图文指令序列来优化多模态模型，得到了新的模型 LLaVA 并在多个数据集上表现出色。

    Apr, 2023

  • X-LLaVA: 优化双语大型视觉语言对齐

    我们提出了两种解决多模态模型创建训练数据方面的问题的有效方法，并基于这些方法构建了一个 91K 的英 - 韩 - 中多语言多模态训练数据集，并开发了一种双语多模态模型，在韩语和英语方面表现出优秀的性能，超过了现有方法。

    Mar, 2024

  • 通过视觉语言知识蒸馏实现在 CLIP 上的多模态生成

    通过视觉 - 语言知识蒸馏 (VLKD) 增强双流 VLP 模型，使其具有多模态生成能力，实现开放式视觉问答和图像字幕等多模态生成任务的强零 - shot 性能。

    Mar, 2022

  • Z-LaVI: 由视觉想象力驱动的零样本语言求解器

    通过利用两种互补的 “想象力”（检索已有图像和通过文本到图像生成合成不存在的图像），我们开发了一种新颖的方法 Z-LaVI，为语言模型赋予了视觉想象能力，从而解决了大规模预训练语言模型的报告偏差问题，提高了跨多个语言任务的零 - shot 性能。

    Oct, 2022

  • 高效多语言视觉 - LLMs 引导程序的启动

    通过利用机器翻译产生多语言数据来实现对预训练的多语言 LLM 的图像编码器的重新对准，从而在消费者硬件上使用少量训练数据来获得第一款多语言 Vision-LLM，与从头开始训练的大规模 Vision-LLM 相比表现出色。

    Jul, 2023

  • Babel-ImageNet：大规模多语言视觉语言表示的评估

    使用 Babel-ImageNet 建立大规模多语言图像描述数据集，通过在 0-shot 图像分类任务上的表现大幅验证了多语言 VL 模型的性能差异并证明了其在图像 - 文本检索上的可行性。

    Jun, 2023

  • ViLaM: 具有增强的视觉定位和泛化能力的视觉语言模型

    该研究提出了 ViLaM，一个统一的视觉 - 语言转换模型，通过集成基于大型语言模型的指令调整，能够在包括语言和视觉的一系列任务中最佳利用大型预训练语言模型的知识和推理能力，从而在医学图像分析等复杂视觉任务中取得了非凡的表现，并展示了其令人印象深刻的零样本学习能力，表明 ViLaM 在医学领域具有潜在的未来应用。

    Nov, 2023

  • InternVL：扩展视觉基础模型并对通用视觉语言任务进行对齐

    通过设计大规模的视觉语言基础模型 (InternVL)，其参数规模扩展到 60 亿，并逐步与大型语言模型对齐，该研究旨在推动视觉与视觉语言基础模型的发展与应用，以实现视觉感知任务的最新性能、多模式对话系统的构建和与大型语言模型的链接。

    Dec, 2023

  • 构建多语言视觉文本数据集揭示视觉语言模型的多语言能力

    我们通过模板构建了四种语言的多语言视觉文本数据集，介绍了九项视觉语言任务，并引入了解释机制以评估大型语言模型在视觉语言任务上的表现。

    Mar, 2024

  • BLIVA：一个简单的多模态 LLM 用于更好地处理文本丰富的视觉问题

    通过在语言模型中添加视觉理解能力，BLIVA 能够显著提高处理富含文本的视觉问答任务的性能，并在典型的视觉问答基准上取得了较高的准确率。

    Aug, 2023