引入了一种多模态的着色方法，通过利用预训练的稳定扩散模型，支持高度可控的交互式图像着色，解决了多种限制性问题，包括用户互动、局部着色、非自然色彩渲染、色彩变化不足和色彩溢出。

Feb, 2024

我们提出了一种名为 UniT 的统一 Transformer 模型，该模型可以同时学习不同领域中最重要的任务，从目标检测到自然语言理解和多模态推理，在编码器 - 解码器架构的基础上，通过编码器对每个输入模态进行编码，并使用共享解码器对编码的输入表示进行每个任务的预测，然后是特定于任务的输出头。我们的实验证明，在 8 个数据集上联合学习 7 个任务，使用比以前的工作更少的参数，在每个任务上都获得了强大的性能。

Feb, 2021

提出了一种名为 Uni-paint 的多模态修复统一框架，基于 Stable Diffusion 预训练模型，支持无条件、文本驱动、笔画驱动、示例驱动等多种修复模态，无需特定数据集的任务特定训练，通过广泛的定性和定量评估表明，该方法在保持与现有单模态方法具有可比性的基础上，提供了其他方法中不可用的多模态修复能力。

Oct, 2023

UNIMO-G 是一个简单的多模态条件扩散框架，能够对多模态提示进行操作，并展示了文本驱动和主体驱动图像生成的统一能力。该框架通过训练大规模文本 - 图像对，以及使用多模态提示进行指导微调，实现了高保真度的图像生成。

Jan, 2024

本文提出了 Colorization Transformer—— 一种基于自注意力的多样化高保真图像上色新方法，其过程包括使用有条件自回归变换器产生低分辨率粗糙的灰度图像以及通过两个完全并行的网络上采样，将这种粗糙着色的低分辨率图片转换为精美的高分辨率图像，并且从这个模型中采样产生出的多样化着色效果整体上优于现有最先进技术，而且人类评估者在 Mechanical Turk 测试中在 60% 以上的情况下喜欢由 Colorization Transformer 生成的图像胜于原始图像。

Feb, 2021

本文介绍了一种名为 UNIMO 的统一单模态预训练架构，它可以有效地适应单模态和多模态理解和生成任务，利用大规模自由文本语料库和图像集合来提高视觉和文本理解的能力，并使用跨模态对比学习来将文本和视觉信息对齐到图像 - 文本对的统一语义空间。实验结果表明，UNIMO 显著改善了几个单模态和多模态下游任务的性能。

Dec, 2020

本文提出了一种联合学习视觉、文本和不对齐图像和文本语料库之间的符号对齐的端到端 UNIMO-2 统一模态预训练框架，采用 “基础学习” 方案，成功地提高了一些跨模态任务的性能与视觉和文本语义对齐。

Mar, 2022

本文介绍了 UPainting 这个同时适用于简单和复杂场景图像生成的模型，利用预训练的 Transformer 语言模型作为文本编码器，结合预训练的图像 - 文本匹配模型进行跨模态引导，提高了生成图像的样本保真度和图像 - 文本对齐程度。在中英文简单和复杂场景的对比实验中，UPainting 相对于其他模型表现得更加优异。

Oct, 2022

通过联合学习视觉和语言的表示，Unicoder-VL 提供了一个通用编码器，采用多任务交叉训练，包括掩码语言建模，掩码对象分类和视觉语言匹配等。在大规模图像字幕预训练之后，Unicoder-VL 可用于基于字幕的图像文本检索和视觉常识推理，取得了领先或可比的结果，展示了交叉模态预训练的强大能力。

Aug, 2019

我们提出了一种多模态蒙版颜色模型，整合了色彩和文本上下文，为图形文档提供了文本感知的颜色推荐。实验证明，我们的方法在准确性、色彩分布、用户体验等方面优于以往的颜色调色板补全方法，以及与真实调色板相似度及色彩多样性方面超过以往的全调色板生成方法。

Aug, 2023