May, 2024

变色龙：混合模式早期融合基础模型

PDF
TL;DRChameleon 是一种早期融合的基于令牌的混合模态模型系列，能够理解和生成任意顺序的图像和文本。它在图像问答、图像描述、文本生成、图像生成和长格式混合模态生成等任务上展现了广泛和通用的能力，包括在图像描述任务中达到了最先进的性能水平，同时在纯文本任务中超越了 Llama-2，与 Mixtral 8x7B 和 Gemini-Pro 等模型竞争，并且能够生成非平凡的图像，所有这些能力都集成在一个模型中。它还在全新的长格式混合模态生成评估中，通过人类评判匹配或超越了更大模型，包括 Gemini Pro 和 GPT-4V，该评估中的提示或输出包含混合的图像和文本序列。Chameleon 在统一建模完整多模态文档方面迈出了重要的一步。
chameleonearly-fusion token-based mixed-modal modelsimage and text understandingvisual question answeringimage captioning
发现论文，激发创造
  • Chameleon：大型语言模型的即插即用组合推理

    本文提出了 Chameleon 框架，该框架通过在 Large language models（LLMs）上加上合成程序的方式来提高 LLMs 的能力，特别是在处理需要精确数学推理、使用外部工具或获取最新信息的任务时。作者通过使用科学问题答案（ScienceQA）和网页表格解析（TabMWP）两个任务来展示 Chameleon 的效率和适应性，结果表明 Chameleon 可以在这些任务上显著提高模型的准确率，并且使用 GPT-4 作为规划器可以更加稳定和合理地选择工具，并推断给定指令的潜在约束。

    Apr, 2023

  • 变色龙：公平感知多模态数据增强的基础模型，提升少数族裔的覆盖率

    我们提出了 Chameleon，这是一个系统，它有效地利用生成 AI 和基础模型，在最小程度上增加合成生成元组的数据集，以增强被少数群体所代表的覆盖范围，并通过数据修复显著降低了模型在下游任务中的不公平性。

    Feb, 2024

  • MultiFusion：预训练模型融合用于多语言，多模态图像生成

    本文提出了一种名为 MultiFusion 的方法，利用预训练模型将多个语言和多模态输入整合到单一的图像生成模块中，从而大幅提高了效率。实验证明，MultiFusion 可以将各个独立的组件整合起来，使图像生成模块能够利用来自各种语言和模态的输入。

    May, 2023

  • 自回归多模态模型的扩展：预训练和指导调整

    CM3Leon 是一种检索增强的令牌化、仅解码器的多模式语言模型，能够生成和填充文本和图像，通过多模式体系结构实现规模化和调优多样化指导式数据的极大益处，附加了大规模检索增强预训练阶段和第二个多任务监督微调阶段。它是一种通用模型，可以进行文本到图像和图像到文本的生成，可生成高质量输出的自包含对比解码方法。广泛实验证明了这种方法对多模态模型的高效性，CM3Leon 在文本到图像生成方面实现了最先进的性能，训练计算量比可比方法少 5 倍（零样本 MS-COCO FID 为 4.88）。经过微调后，CM3Leon 还可以展示在从语言引导的图像编辑到图像控制生成和分割的任务中前所未有的可控水平。

    Sep, 2023

  • 变色龙：一种用于检索增强语言模型的异构和解聚加速器系统

    创建了一种名为 Chameleon 的异构加速器系统，利用分体架构整合了语言模型和信息检索加速器，实现了对于不同的 Retrieval-Augmented Language Model 系统需求的高效加速，并在性能上取得了显著的提升。

    Oct, 2023

  • MammothModa: 多模大语言模型

    我们介绍了 MammothModa，这是另一个多模态大型语言模型（MLLM），旨在从基本基线实现最先进的性能。我们关注了三个关键设计见解：（i）在保持复杂语言理解的同时融入视觉能力：除了视觉编码器外，我们还将视觉注意力专家纳入 LLM 以增强其视觉能力。（ii）扩展上下文窗口以获得高分辨率和长持续时间的视觉特征：我们探索了视觉合并模块，以有效地减少高分辨率图像的标记数量，并引入了帧位置 ID 以避免位置插值。（iii）高质量的双语数据集：我们精心策划和筛选了一个高质量的双模态双语数据集，以减少视觉幻觉。通过上述方法，我们构建的 MammothModa 在主要的真实世界视觉语言基准测试中始终优于最先进的模型，例如 LLaVA 系列模型，而没有花里胡哨的东西。

    Jun, 2024

  • 多模态生成预训练

    本文介绍了 Emu—— 一种基于 Transformer 的多模态基础模型，它可以在多模态语境中无缝生成图像和文本。该模型可通过单一模型进行全自回归训练，将任何单模态或多模态数据输入混合 (例如，交错的图像、文本和视频)，并表现得十分出色。

    Jul, 2023

  • Chameleon: 机器学习应用的混合安全计算框架

    Chameleon 是一个独特的混合框架，它通过组合基于加性秘密共享的协议和通用秘密函数评估协议的优点来实现双方合作计算功能；其支持具有签名定点数的向量点积，可用于高效加密数据的挖掘和分类。研究结果显示，与 Microsoft CryptoNets 和 MiniONN 相比，Chameleon 的执行速度分别快 133 倍和 4.2 倍。

    Jan, 2018

  • 利用多模态语言模型生成图像

    该论文提出了一种方法，通过将文本形式的大型语言模型嵌入图像编码器和解码器模型中，利用它们的嵌入空间之间的映射来融合两者，从而实现多模态的图像检索、新颖图像生成和多模态对话，同时还能生成并处理图像和文本输入，比非基于 LLM 的模型在一些基于文本生成图像任务方面表现更好。

    May, 2023

  • 多模式生成嵌入模型

    多模态生成嵌入模型能够同时处理多模态任务，在效率上具有竞争力，具备良好的图像标题生成和文本图像检索能力。

    May, 2024