对于像素级语言模型，本论文介绍了一种新颖的预训练框架，通过在超过 4 亿个文档渲染的 RGB 图像上预训练，采用双模态训练方案，结合视觉数据和文本数据，通过下一个块预测和分类头预测进行训练，并展示了将视觉和文本数据结合的潜力及有效性。

Apr, 2024

本文介绍了 UPainting 这个同时适用于简单和复杂场景图像生成的模型，利用预训练的 Transformer 语言模型作为文本编码器，结合预训练的图像 - 文本匹配模型进行跨模态引导，提高了生成图像的样本保真度和图像 - 文本对齐程度。在中英文简单和复杂场景的对比实验中，UPainting 相对于其他模型表现得更加优异。

Oct, 2022

该论文提出了一种新的通信系统框架，利用多模式生成模型的优势生成有前途的代沟能力。我们的主要研究方向是基于图像到文本转换和顺序传输单词令牌的通信系统设计，旨在为实际通信系统利用最先进的生成模型铺平新的道路。

Sep, 2023

通过生成对抗网络（GAN）或变压器模型进行文本到图像生成。提出了一种方法，利用人工智能模型进行主题创造，并对实际绘画过程进行分类建模。通过将所有视觉元素转化为可量化的数据结构来创建图像，并与现有的图像生成算法进行语义准确性、图像可复现性和计算效率方面的有效性评估。

Dec, 2023

通过 “跨模态生成” 这一视角回顾了关于从文本生成视觉数据的研究，对各种针对输入文本并产生视觉输出的方法进行了比较和对比，并提出了在领域中的常见模板，逐一探讨了图片 - 文本方法、视频 - 文本方法、图片编辑、自监督和基于图形的方法。对 2016 年至 2022 年在 8 个机器学习领域的顶级学术会议上发表的研究论文进行了总结，也纳入了一些与所述搜索标准不匹配的相关论文，发现该领域的发表论文数量显著增加，并凸显了研究空白和潜在的研究方向。据我们所知，这是首个系统地从 “跨模态生成” 的视角来审视文本到图像生成的综述。

Jan, 2024

提出了一种用于文本到图像人物检索的新框架，旨在充分发掘句子中的词语力量。通过使用预训练的全 CLIP 模型作为图像和文本的双编码器，以及引入文本引导的图像恢复辅助任务和针对难样本的交叉模态三元组损失，该方法在三个流行的基准数据集上取得了最先进的结果。

Jul, 2023

利用高级语义，通过视觉 - 语言模型建立文本与图像信号之间的粗粒度关联机制，并在变换器网络中嵌入仿射融合单元以在特征级别上融合文本和图像模态，提出了一种以文本为导向的融合方法，并释放了一个文本注释的图像融合数据集 IVT 来促进其实施和在研究社区的采用。大量实验证明我们的方法（TextFusion）在传统的基于外观的融合方法上始终表现优异。

Dec, 2023

DreamStyler 是一种新的框架，用于艺术图像合成，具备文本到图像合成和风格转换的能力，通过多阶段的文本嵌入和上下文感知的文本提示来优化图像质量，并具备适应一系列风格参考的灵活性，实验证明其在多种场景下的卓越性能，显示出在艺术产品创作方面的潜在优势。

Sep, 2023

我们提出了 Zero-Painter，这是一个针对布局条件下的文本到图像合成的新型无需训练的框架，有助于从文本提示中创建细节丰富且可控的图像。我们的方法利用物体掩码和个别描述以及全局文本提示来生成高保真度的图像。Zero-Painter 采用了一个两阶段过程，其中包括我们的新型 Prompt-Adjusted Cross-Attention (PACA) 和 Region-Grouped Cross-Attention (ReGCA) 块，确保生成的对象与文本提示和掩码形状精确对齐。我们广泛的实验表明，Zero-Painter 在保留文本细节和符合掩码形状方面超过了当前的最先进方法。

Jun, 2024

本文旨在研究如何通过条件生成对抗网络来实现内容感知的视觉文字呈现布局，为自动无模板创意图形设计提供关键支持。通过设计一个名为 PosterLayout 的新数据集，并借助设计顺序形成技术，提出一种可生成适当布局的 CNN-LSTM 基于条件生成对抗网络，该方法在多个方面均取得了最佳性能。

Mar, 2023