Jul, 2024

GenArtist: 多模式 LLM 作为统一图像生成和编辑的代理

PDF
TL;DR提出了 GenArtist，这是一个通过多模态大型语言模型 (MLLM) 代理协调的统一图像生成和编辑系统，利用该代理进行工具选择和执行，将现有模型整合到工具库中，并利用 MLLM 代理将复杂问题分解成较简单的子问题，并构建树状结构以系统地规划生成、编辑和自我纠正的步骤验证，通过自动生成缺失的位置相关输入和合并位置信息，可以有效地应用适当的工具来解决每个子问题，实验表明 GenArtist 可以执行各种生成和编辑任务，并取得最先进的性能，超过了现有模型，如 SDXL 和 DALL-E 3。
发现论文，激发创造
  • LLMGA: 基于多模态大型语言模型的生成助手

    该研究介绍了一种基于多模态大型语言模型的生成助手（LLMGA），利用大型语言模型（LLM）中内在的知识和理解能力，帮助用户进行图像生成和编辑，通过精确控制生成提示实现对稳定扩散（SD）的控制，以提供更精细、准确的内容和更直观的网络解释性，同时还提出了一个两阶段的训练方案来优化 SD 的生成结果，并引入基于参考的恢复网络来减少图像编辑过程中生成区域与保留区域之间的纹理、亮度和对比度差异。广泛的实验结果表明，LLMGA 具有很好的生成能力，并能以交互方式在更广泛的应用中发挥作用。

    Nov, 2023

  • LLMs 满足多模态生成和编辑的综述

    多模态生成技术的调查，介绍了不同领域中的重要进展，包括图像、视频、3D 和音频，研究了方法和数据集，还提出了使用现有生成模型进行人机交互的工具增强型多模态代理，同时探讨了人工智能安全问题和新兴应用及未来前景。

    May, 2024

  • 分而治之：语言模型可用于规划和自我纠正组合式文本到图像生成

    我们提出了 CompAgent，这是一种无需训练的组合文本到图像生成方法，核心是一个大型语言模型代理。我们的方法在复杂的文本提示下能够保持对图像的可控性，尤其是在保留对象属性和关系方面，通过先将文本提示分解成独立的对象、属性和场景布局，并引入验证和人类反馈机制来进一步校正属性错误和改进图像生成。

    Jan, 2024

  • MuLan: 多模态 - LLM 进化多对象扩散智能体

    通过渐进式多对象生成、规划和反馈控制，我们开发了一种无需训练的多模态语言模型代理（MuLan），以解决现有文本到图像模型在处理多对象、对象空间位置、相对大小、重叠和属性绑定方面的困难。

    Feb, 2024

  • MoMA: 快速个性化图像生成的多模式 LLM 适配器

    本篇论文介绍了 MoMA：一种基于开放词汇、无需训练的个性化图像模型，具备灵活的零样本能力。利用开源的多模态大型语言模型（MLLM），我们训练 MoMA 同时担任特征提取器和生成器的双重角色。该模型通过引入一种新颖的自注意力快捷方法，高效地将图像特征传递给图像扩散模型，从而提高生成图像中目标对象的相似度。作为一个调优自由、即插即用的模块，与其他方法相比，我们的模型只需一个参考图像即可生成具有高细节保真度、增强身份保留性和忠实响应的图像。我们的工作是开放源代码的，从而为所有人提供这些先进技术的通用访问。

    Apr, 2024

  • LLM 作为艺术总监（LaDi）：运用 LLM 来提升文本到媒体生成器

    近期的文本到图像生成的进展在艺术和电影等许多领域引起了革命，通过自动化生成高质量、上下文感知的图像和视频。本文介绍了一种技术，可以使大型语言模型作为艺术总监来增强图像和视频生成。我们描述了我们称之为 “LaDi” 的这种统一系统。我们探讨了 LaDi 如何集成多种技术来增加文本到图像生成器和文本到视频生成器的能力，重点是受限解码、智能提示、微调和检索。LaDi 和这些技术目前正在由 Plai Labs 开发的应用和平台中使用。

    Nov, 2023

  • Genixer: 赋予多模态大型语言模型强大的数据生成能力

    通过创新的数据生成方法，Genixer 可以为不同任务生成高质量的多模态指令调整数据，从而改进现有的大型语言模型，在图像字幕和视觉问答等任务中取得了最先进性能，并为跨领域的创新应用提供了可能。

    Dec, 2023

  • 利用多模态语言模型生成图像

    该论文提出了一种方法，通过将文本形式的大型语言模型嵌入图像编码器和解码器模型中，利用它们的嵌入空间之间的映射来融合两者，从而实现多模态的图像检索、新颖图像生成和多模态对话，同时还能生成并处理图像和文本输入，比非基于 LLM 的模型在一些基于文本生成图像任务方面表现更好。

    May, 2023

  • ChatIllusion: 高效对齐交错生成自适应可视化指导模型

    通过 GenAdapter 将视觉表示能力集成到 ChatIllusion 中，ChatIllusion 是一种高级生成多模态大语言模型，结合了大语言模型的能力和视觉理解能力，能够为用户提供多样且高质量的图像输出，同时保持语义一致性和对话控制性，极大提升用户的体验质量。

    Nov, 2023

  • SEED-Story：利用大型语言模型进行多模式长篇故事生成

    使用多模态大型语言模型（MLLM）提出了 SEED-Story，一种新颖的方法，用于生成扩展的多模态故事。模型基于 MLLM 的强大理解能力，预测文本和视觉标记，并通过适应的视觉解标记器处理视觉标记以生成具有一致的字符和风格的图像。还提出了多模态注意力池机制，以高效的自回归方式生成高达 25 个序列（仅使用 10 个进行训练）的故事。此外，还提供了一种名为 StoryStream 的大规模高分辨率数据集，用于训练模型并在各个方面定量评估多模态故事生成任务。

    Jul, 2024