Jun, 2024

利用 LLaVA 提示和负面提示提升图像生成

PDF
TL;DR通过利用大型语言与视觉助手（LLaVA）的多模态能力，本文提出了一种增强图像 - 图像生成的新方法。LLaVA 分析输入图像并生成文本描述，即 LLaVA 生成的提示。这些提示与原始图像一起输入到图像 - 图像生成流程中，丰富的表示指导生成过程以展现更强的输入图像相似性。广泛的实验证明了 LLaVA 生成的提示在促进图像相似性方面的有效性。与传统方法相比，我们观察到生成图像和输入图像之间视觉一致性的显著改进。未来的工作将探索对 LLaVA 提示进行微调，以更好地控制创造过程。通过在提示中提供更具体的细节，我们旨在在生成的输出中实现对原始图像的忠实性和艺术表现之间的微妙平衡。
image-to-image generationmultimodal capabilitieslarge language and vision assistantllava-generated promptsvisual coherence
发现论文，激发创造
  • LLaVA-Interactive: 图像聊天、分割、生成和编辑的一体化演示

    LLaVA-Interactive 是一种用于多模态人工智能交互的研究原型系统，其能够通过获取多模态用户输入和生成多模态响应与用户进行多轮对话。该系统具有可视化提示功能，以对齐人类意图，同时还结合了 LLaVA 的可视化聊天、SEEM 的图像分割以及 GLIGEN 的图像生成和编辑等三种多模态技能，从而具备了成本极低的开发。该论文通过展示多样的应用场景，展示了 LLaVA-Interactive 系统的潜力，并激发了未来研究多模态交互系统的灵感。

    Nov, 2023

  • 激发视觉创造力：图像编辑建议的视觉语言助手

    该研究论文介绍了图像编辑推荐任务，通过 Creativity-Vision Language Assistant 的训练和编辑指令数据集的提供，实现了从输入图像和简单提示生成多样创意编辑指令的目标。通过引入新颖的 ' 用于本地化的标记 ' 机制，我们的模型支持全局和局部编辑操作，并证明了其在提供具有魅力的创意元素且与输入图像和用户初始提示高度相关的指令方面的有效性。

    May, 2024

  • LLMGA: 基于多模态大型语言模型的生成助手

    该研究介绍了一种基于多模态大型语言模型的生成助手（LLMGA），利用大型语言模型（LLM）中内在的知识和理解能力，帮助用户进行图像生成和编辑，通过精确控制生成提示实现对稳定扩散（SD）的控制，以提供更精细、准确的内容和更直观的网络解释性，同时还提出了一个两阶段的训练方案来优化 SD 的生成结果，并引入基于参考的恢复网络来减少图像编辑过程中生成区域与保留区域之间的纹理、亮度和对比度差异。广泛的实验结果表明，LLMGA 具有很好的生成能力，并能以交互方式在更广泛的应用中发挥作用。

    Nov, 2023

  • LaViP: 语言驱动的视觉提示

    通过语言引导的视觉提示方法，我们使视觉语言模型的视觉编码器适应下游任务，从而提高适应性和泛化性能。

    Dec, 2023

  • 文本到图像生成系统的提示日志分析

    最近，大型语言模型和生成式人工智能的出现，释放了文本转图像生成系统惊人的能力，以合理的方式将高质量的图像综合到给定的参考文本中。我们进行了第一次大规模的记录，这些记录由多个文本到图像生成系统收集。我们的研究发现表示用户输入的文本与生成模型的训练数据之间存在很大的差距，并建议我们如何提高这些系统的性能。

    Mar, 2023

  • LoGoPrompt：合成文本图像可以成为视觉 - 语言模型的良好视觉提示

    本文通过引入合成文本图像作为类别相关的视觉提示，探索了视觉 - 语言模型中视觉提示的作用，并提出了一种 LoGoPrompt 方法，该方法在少样本学习、从基础到新领域的泛化以及领域泛化方面表现出一致优于现有方法的实验结果。

    Sep, 2023

  • 视觉语言理解的情境提示学习

    本文提出一种叫做上下文提示学习的框架，用于多模态学习中训练可对齐图像本地化特征并且能够适应当前任务的动态提示，通过应用于多个标准和少样本数据集上展示了比现有技术方法更优越的性能和强大的适用性。

    Jul, 2023

  • LaPA：医学视觉问答的潜在提示辅助模型

    给出一个概述只需一句简短的中文描述是：本研究提出了 LaPA 模型，用于医学视觉问答。通过设计潜在提示生成模块、多模态融合块、和先验知识融合模块，利用潜在提示从单模态和多模态特征提取临床相关信息，并结合图像 - 语言跨模态信息预测最终答案。实验结果表明 LaPA 模型在三个公开的医学视觉问答数据集上胜过了现有的最先进模型 ARL，分别在 VQA-RAD、SLAKE 和 VQA-2019 上达到了 1.83%、0.63% 和 1.80% 的改进。

    Apr, 2024

  • 语言感知的视觉与语言基础模型软提示

    本文介绍了一种软提示学习的方法，用于 Vision & Language 模型。该方法通过使用第二交叉熵损失来最小化学习的软提示与手工工程提示之间的距离，进而提高模型性能，并能够训练虚拟类。在 11 个数据集上进行的广泛评估表明，该方法显著优于所有先前的软提示工作，并在大多数测试数据集上匹配和超越手工制作提示和 CLIP 的新类准确性。

    Oct, 2022

  • 生成式视觉指导调整

    使用机器生成的指令跟随数据，通过集成对生成和图像编辑任务的支持，我们改进了一个大型多模态模型的零样本能力。我们构建了一个新的多模态指令跟随数据集，并使用 GPT-4V 和现有的图像生成和编辑数据集。通过三种类型的大型预训练模型的指令微调策略（语言模型的 LLaMA，图像文本匹配的 SigLIP，文本到图像生成的 StableDiffusion），我们建立了 GenLLaVA，一个生成性的大型语言与视觉助手。我们的模型在视觉理解任务上表现出与 LLaVA 相当的能力，并且与 Unified-IO 2 等本地多模态模型展示了有竞争力的结果，为构建先进的通用视觉助手铺平了道路。我们公开了数据集、代码库和模型检查点，以促进该领域的进一步研究与应用。

    Jun, 2024