通过渐进式多对象生成、规划和反馈控制，我们开发了一种无需训练的多模态语言模型代理（MuLan），以解决现有文本到图像模型在处理多对象、对象空间位置、相对大小、重叠和属性绑定方面的困难。

Feb, 2024

本文提出一种多任务普适性病变分析网络，它基于改进的 Mask R-CNN 框架，能够联合检测、标注和分割身体各部位的病变，达到了 DeepLesion 数据集上最高的检测和标注精度。

Aug, 2019

MuLA-GAN 是基于生成对抗网络（GAN）和多级注意力机制相结合的一种新方法，用于全面改善水下图像。模型的多级注意力机制在捕捉和保留水下图像的细节方面表现出色，且在各种应用中优于现有的尖端方法，在具有生物附着和水产养殖应用的特定数据集上展示了其在挑战性环境条件下的鲁棒性。

Dec, 2023

通过引入 TRINS 数据集和 LaRA 模型，本研究提升了多模式大语言模型在理解图片中的文本内容方面的能力。TRINS 数据集包含了 39,153 个文本丰富的图片、图片描述和 102,437 个问题，并且较之相关数据集，TRINS 的每个标注的字数显著增加。实验结果表明，LaRA 模型在 TRINS 数据集和其他经典基准上表现出色，提高了对于文本丰富图片的理解和生成任务的效果。

Jun, 2024

提出 MaIL 范式，是一个更加简洁的编码器 - 解码器流程，通过遮罩图像语言三模态编码器统一单模态特征提取器和它们的融合模型，实现不同模态间的充分特征交互，同时避免了单模态编码器与目标多模态任务之间的一致性问题，并首次在所有常用的引用图像分割数据集上引入实例掩模作为附加模态，显式强调实例级特征，并促进更细致的分割结果。

Nov, 2021

该研究提出了一种统一框架来生成和处理面部图像，基于预训练的 GAN 模型，使用两种新颖的策略，直接优化潜在空间的潜在编码以获取多模式输入的图像生成和操纵，并提出了一个大型数据集 Multi-Modal CelebA-HQ。

Apr, 2021

现有的文本 - 图像模型在遵循复杂文本提示上困难重重，因此需要额外的基础输入以提高可控性。本研究提出将场景分解为可容纳细粒度细节、模块化、可解释的、易于构建的视觉基元 - 密集 Blob 表示。基于 Blob 表示，我们开发了一种基于 Blob 的文本 - 图像扩散模型 BlobGEN，用于组合生成。通过引入新的屏蔽式交叉注意力模块来解开 Blob 表示和视觉特征之间的融合，以发挥大型语言模型 (LLMs) 的组合性。我们引入了一种新的上下文学习方法来从文本提示生成 Blob 表示。我们广泛的实验表明，BlobGEN 在 MS-COCO 上实现了卓越的零样本生成质量和更好的布局引导可控性。当与 LLMs 结合使用时，我们的方法在组合图像生成基准上展现出卓越的数值和空间正确性。

May, 2024

本文提出了一种基于多视角真实图像训练的无监督方法，将物体外观分解为高光、阴影和漫反射层，使用局部颜色分布的图像表示进行训练，在高亮度分离和内在图像分解两种任务上取得了最新的成果。

Nov, 2019

本篇论文介绍了 MoMA：一种基于开放词汇、无需训练的个性化图像模型，具备灵活的零样本能力。利用开源的多模态大型语言模型（MLLM），我们训练 MoMA 同时担任特征提取器和生成器的双重角色。该模型通过引入一种新颖的自注意力快捷方法，高效地将图像特征传递给图像扩散模型，从而提高生成图像中目标对象的相似度。作为一个调优自由、即插即用的模块，与其他方法相比，我们的模型只需一个参考图像即可生成具有高细节保真度、增强身份保留性和忠实响应的图像。我们的工作是开放源代码的，从而为所有人提供这些先进技术的通用访问。

Apr, 2024

LAION-5B 是一个包含了 58.5 亿组图像 - 文本对的数据集，许多基础的模型如 CLIP、GLIDE 和 Stable Diffusion 成功地使用了该数据集进行复现和微调，这个数据集的开放也将推动更多基于大规模多模型的研究。

Oct, 2022