该论文提出了一种方法，通过将文本形式的大型语言模型嵌入图像编码器和解码器模型中，利用它们的嵌入空间之间的映射来融合两者，从而实现多模态的图像检索、新颖图像生成和多模态对话，同时还能生成并处理图像和文本输入，比非基于 LLM 的模型在一些基于文本生成图像任务方面表现更好。

May, 2023

本文提出了一种自主监督的共享编码器模型，在数据、内存和运行时效率高的同时，在几个视觉、语言和多模式基准测试中取得了强大结果。

Apr, 2023

我们提出了一种新的用于个性化文本到图像扩散模型的架构，称为混合关注机制（MoA）。MoA 通过将生成工作负载分配给个性化分支和非个性化先验分支两个注意力路径来分布生成负载。

Apr, 2024

通过渐进式多对象生成、规划和反馈控制，我们开发了一种无需训练的多模态语言模型代理（MuLan），以解决现有文本到图像模型在处理多对象、对象空间位置、相对大小、重叠和属性绑定方面的困难。

Feb, 2024

该研究介绍了一种基于多模态大型语言模型的生成助手（LLMGA），利用大型语言模型（LLM）中内在的知识和理解能力，帮助用户进行图像生成和编辑，通过精确控制生成提示实现对稳定扩散（SD）的控制，以提供更精细、准确的内容和更直观的网络解释性，同时还提出了一个两阶段的训练方案来优化 SD 的生成结果，并引入基于参考的恢复网络来减少图像编辑过程中生成区域与保留区域之间的纹理、亮度和对比度差异。广泛的实验结果表明，LLMGA 具有很好的生成能力，并能以交互方式在更广泛的应用中发挥作用。

Nov, 2023

通过引入 pool-adapter 模块，保留视觉嵌入的位置信息，我们的 InfMLLM 方法在图像描述、视觉问题回答和视觉定位等任务中达到了与最新的多模态大语言模型相当或超越的性能。

Nov, 2023

通过使用多模态大型语言模型，本文提出了一种用于人物图像重新识别的文本到图像转换方法，通过生成各种模板的描述来构建大规模数据集，同时使用相似性判断方法处理不准确的描述，从而显著提升直接转换的文本到图像人物重新识别性能。

May, 2024

本文提出了一种通过从多个信息语料库（“外部记忆”）检索增强文档的机制，即 Mixture-Of-Memory Augmentation（MoMA），来改善语言模型的零样本泛化能力，并以一种零样本密集检索环境为例，使用 MoMA 增强强 T5-based retriever 模型。MoMA 在标准 BEIR 基准测试中获得了强的零样本检索准确性，优于寻求从增加模型参数和计算步骤进行泛化的系统，并证明了 Mixture-Of-Memory 的必要性及其学习的好处，同时展示了 MoMA 如何利用插入式存储器在推理时不改变其参数。

Feb, 2023

引入了 ModaVerse，一种多模态大型语言模型（MLLM），能够理解和转换图像、视频和音频等不同模态的内容。通过在自然语言层面上进行输入 / 输出对齐，避免了潜在特征对齐的复杂性，简化了现有 MLLM 的多个训练阶段，从而显著降低了数据和计算成本。在多个基准实验中，我们的方法取得与最先进技术相当的性能，同时在数据使用和训练时间上实现了显著的效率提升。

Jan, 2024

通过实验证明，对多模态大型语言模型进行微调时，虽然确实获得了特定领域的视觉能力，但更新不会导致提取相关的特定领域视觉属性。结果表明，即使只对投影进行微调，领域特定的视觉属性仍由语言模型来建模。通过这项研究，我们提供了对多模态大型语言模型架构中交叉模态投影作用的潜在重新解释。

Feb, 2024