本研究提出了一种新的方法来增强多模式大型语言模型的可解释性，通过专注于图像嵌入组件。我们将开放世界定位模型与多模式大型语言模型相结合，从而创建一个能够同时产生文本和物体定位输出的新架构。提出的架构极大地促进了可解释性，使我们能够设计一种新的显著性图以解释任何输出标记，识别模型幻觉，并通过语义对抗扰动评估模型的偏见。

May, 2024

多模态搜索系统结合图像和文本，通过增强匹配能力、推理能力和上下文感知的查询解析和重写，提供用户与其搜索意图自然有效的交互。在 Fashion200K 数据集上，我们引入了一种新颖的多模态搜索模型，并提出了结合大型语言模型的搜索界面，以实现与用户的对话式互动和上下文考虑的搜索体验的升级，为购物助手提供了类人交互和全面的搜索体验。

Apr, 2024

利用文本与图像模型生成个性化网页横幅，基于用户的互动行为生成动态内容的横幅，通过大型语言模型系统地提取项目元信息的属性，并通过提示工程将属性传递给文本与图像模型生成横幅的图像，结果表明该方法可以为用户创建高质量的个性化横幅。

Feb, 2024

该论文提出了一种方法，通过将文本形式的大型语言模型嵌入图像编码器和解码器模型中，利用它们的嵌入空间之间的映射来融合两者，从而实现多模态的图像检索、新颖图像生成和多模态对话，同时还能生成并处理图像和文本输入，比非基于 LLM 的模型在一些基于文本生成图像任务方面表现更好。

May, 2023

大型多模型（LMMs）依赖于预训练的视觉语言模型（VLMs）和大型语言模型（LLMs）在视觉和语言的联合空间中执行各种多模态任务的出色新颖能力。然而，印刷攻击也被确认为对 LMMs 的安全漏洞，而我们首次全面调查了 LMMs 对印刷字体的易受干扰性，并证明了 LMMs 可以利用更丰富的提示信息从嵌入中区分视觉内容和印刷字体。最后，我们提出了一种提示信息增强方法，可以有效减轻印刷字体的影响。

Feb, 2024

将大型语言模型（LLMs）用于构建人工智能系统在各个领域引起了广泛关注。我们开发了一种名为 Fashion Matrix 的分层人工智能系统，旨在通过语音进行照片编辑，以解决时尚相关生成中的复杂语义交互问题。Fashion Matrix 利用 LLM 作为基础支持，并与用户进行迭代交互，利用语义分割模型和视觉基础模型实现基于用户指令的照片编辑。实验证明，Fashion Matrix 在时尚编辑领域发挥了卓越的潜力。

Jul, 2023

连接文本和视觉模态在生成智能中起着关键作用。受大型语言模型成功的启发，目前正在大量研究开发多模态大型语言模型 (MLLMs)。本文全面回顾了最近的面向视觉的 MLLMs，分析了它们的体系结构选择、多模态对齐策略和训练技术。同时，还对这些模型在包括视觉定位、图像生成和编辑、视觉理解以及领域特定应用等一系列任务上进行了详细分析。此外，我们还编译和描述了训练数据集和评估基准，并在性能和计算要求方面对现有模型进行了比较。总体而言，本调查提供了当前最新技术的全面概述，为未来的 MLLMs 奠定了基础。

Feb, 2024

通过轻量级的大型语言模型，我们提出一种简单而有效的迁移学习策略 LLMEmbed 来改善文本分类的性能，并在公开数据集上的广泛实验验证了其强大的性能，相较于基于更大型的语言模型（如 GPT-3）和复杂的提示策略，我们的方法仅使用 4% 的模型参数、1.8% 的能耗和 1.5% 的运行时间即可达到充分的准确性。

Jun, 2024

这篇论文提出了一种通过专家混合知识增强机制来改善多模态大型语言模型 (MLLMs) 的视觉感知能力的方法，并通过集成视觉专家实现了视觉输入的更全面准确的概括，进一步提升了 MLLMs 的视觉感知能力。

Jan, 2024

研究发现，模型的中间层能够更好地编码全局语义信息，表征向量在视觉 - 语言蕴含任务中表现更好，而最顶层的模型可能过于关注局部信息，导致对全局信息编码能力减弱。

Feb, 2024