Apr, 2023

Multimodal C4: 亿级图文混合语料库

PDF
TL;DRMultimodal C4 is a publicly available dataset that supports in-context vision and language models, including linear assignment algorithm, for complex learning between images and texts.
in-context visionlanguage modelsmultimodal learningpretraininglinear assignment
发现论文，激发创造
  • OmniCorpus：一个包含百亿级图像和文本交叉编码的统一多模态语料库

    介绍了 OmniCorpus 数据集，一个 100 亿级别的图文交错数据集，与互联网数据的呈现范式相一致并且紧密符合人类阅读习惯，通过全面的分析和实验验证了所提出数据集的质量、可用性和有效性，为未来的多模态模型研究提供了坚实的数据基础。

    Jun, 2024

  • MM-Interleaved: 多模态特征同步器下的图像与文本交错生成建模

    该论文提出了 MM-Interleaved 模型，一种用于交替图像 - 文本数据的端到端生成模型，通过引入多尺度和多图像特征同步器模块，在生成过程中直接访问上下文中的细粒度图像特征，从而增强模型在识别视觉细节、遵循多模态指令和生成一致图像方面的能力。

    Jan, 2024

  • CoMM：一种用于多模态理解与生成的连贯交织的图像文本数据集

    CoMM 数据集提供了同时生成图像和文本的高质量多模态内容，以增强多模态大语言模型的一致性和准确性，并在多个下游任务中显示出显著的上下文学习能力。

    Jun, 2024

  • CLIP 的多模态多标签分类

    设计一个学习算法来处理图像和文本两个数据源，通过使用对比语言图像预训练作为特征提取器并探索不同的分类头、融合方法和损失函数来学习全面的语义特征表示，最终在公共 Kaggle 竞赛排行榜上获得超过 90% 的 F_1 分数。本文通过实验结果提供了新的训练方法和定量分析的详细描述。

    Jun, 2024

  • 赋能视觉语言模型来遵循交替视觉语言指令

    综合评估了多模态大型语言模型的指导遵循能力，并引入了 I4 基准测试，提出了一种智能控制知识重新注入模块和无标注跨注意力引导的反事实图像训练策略，从而实现了在复杂的纷繁视觉语言指令中有效处理的新型多模态大型语言模型 Cheetah，达到了 I4 中所有任务的零样本表现的最新水平，并与当前 MME 基准的最新指导优化模型相比具有竞争力的性能。

    Aug, 2023

  • mOSCAR：一个大规模的多语言和多模态的文档级语料库

    Multimodal Large Language Models (mLLMs) that are trained on caption-like and interleaved text-image data, such as mOSCAR, show improved in-context learning capabilities, boost in few-shot learning performance across various multilingual image-text tasks and benchmarks, and address the limitation of current multilingual and multimodal datasets.

    Jun, 2024

  • MMICL: 视觉语言模型的多模态上下文学习

    通过考虑模型和数据的角度，提出了 MMICL 去解决图像与文本交叉多模态提示的问题，通过无需训练的数据更好地适应用户真实应用中复杂的提示，其中包括多模态上下文与交叉的图像和文本、每个图像的文本参考以及具有空间、逻辑或时间关系的多图像数据。在广泛的视觉 - 语言任务中，特别是在复杂推理基准测试中，MMICL 取得了新的最先进的零样本和少样本性能。同时，对 ScienceQA-IMG 上的实验表明 MMICL 成功缓解了视觉 - 语言模型中的语言偏差问题，我们相信这是 MMICL 卓越性能背后的原因。

    Sep, 2023

  • DialogCC：大规模多模态对话数据集

    本文介绍了一种基于 CLIP 相似度的多模态对话数据集创建管道，使用这个管道，我们提出了一个大规模的多模态对话数据集 DialogCC，并且通过广泛的实验结果表明，使用我们的数据集训练多模态对话模型可以改善泛化性能，与此同时，使用我们的数据集训练的现有模型在图像和文本检索任务上取得了最先进的表现。

    Dec, 2022

  • 使用预训练单模型进行 SIMMC 2.0 的多模态交互

    本文介绍了我们在 Dialog State Tracking Challenge 10 上进行的 Situated Interactive MultiModal Conversations 2.0 挑战中的工作和方法，提出了一种结合图像和文本的多模态模型，并对 SIMMC 2.0 数据集进行了挑战。通过预先训练模型，我们在 subtask＃1，＃2 中取得了第三佳表现，并在生成 subtask＃4 中获得亚军。

    Dec, 2021

  • COSMO：简化的对比多模态流模型与交错预训练

    在视觉语言预训练的演变过程中，从短文理解到包含扩展文本上下文具有关键作用。通过引入对比损失到文本生成模型中，本文提出了一种结合对比学习和多模态处理的统一框架 (ModelName)，在涉及文本和视觉数据的任务中，显著提高模型性能，同时降低学习参数。此外，本文介绍了一个首个交叉视频 - 文本数据集 (VideoDatasetName)，通过全面的字幕，进一步增强模型在图像 - 文本任务中的性能。

    Jan, 2024