提出了一种基于语言 - 视觉模型和预先训练模型的自动生成“图像即单词”的方法，以传达单词的语义概念，并通过优化每个字母的轮廓，确保文本易读性和字体风格的保持。

Mar, 2023

通过针对prompt模板的新度量方法，本文对多种Text-to-Image（T2I）模型的对齐性进行了研究，并发现潜在噪声和提示概念数量、顺序和属性等因素对图像生成的影响。

Jul, 2023

TextPainter是一种新颖的多模态方法，利用上下文视觉信息和相应的文本语义生成文本图像，结合全局-局部背景图像作为风格提示并以视觉和文本的和谐为指导，通过语言模型和文本理解模块实现句子级和词级风格变化，该方法可生成适用于海报的视觉和语义和谐的文本图像。

Aug, 2023

该研究提出了一种排版文本生成系统，结合了扩散模型的控制方法和混合潜在扩散模型，实现了在排版设计上添加和修改文本，并指定字体风格、颜色和文本效果。通过合适的边缘条件，该系统能够生成指定字体的文本，同时应用提前设定的效果，如阴影和倒影，成功地将文本添加和修改在预设的背景上，保持整体的一致性。

Feb, 2024

我们在本文中提出了一种经验研究，介绍了一种用于文本到图像（T2I）生成模型的细致评估框架，应用于人类图像合成。我们的框架将评估分为两个不同的组别：第一组主要关注美学和真实性等图像质量，第二组则检验文本条件，包括概念覆盖和公平性。我们引入了一种创新的美学评分预测模型，评估生成图像的视觉吸引力，并首次提供了标记有生成人类图像低质量区域的数据集以便进行自动缺陷检测。我们对概念覆盖的探索考察了模型准确解释和渲染基于文本的概念的有效性，而公平性分析则揭示了模型输出中的偏见，特别关注性别、种族和年龄。尽管我们的研究以人类图像为基础，但这种双重面向的方法被设计成具有灵活性，可以应用于其他形式的图像生成，增强我们对生成模型的理解，并为下一代更复杂、具有上下文意识和伦理关注的生成模型铺平道路。我们将很快发布我们的代码，用于评估生成模型的数据以及标注有有缺陷区域的数据集。

Mar, 2024

改进了LenCom-Eval和MARIO-Eval基准测试的OCR效果的训练自由框架, 提供了生成包含长且少见文本序列图像的新方法。

Mar, 2024

通过使用SDXL，我们提出一种低成本的微调技术来改善不同情况下文本生成的准确性，并通过将随机字符添加到原始数据集中来提高模型在生成良好形式视觉文本方面的性能。

Jun, 2024

我们介绍了InterleavedBench作为第一个精心策划的用于评估混合文本图像生成的基准，并引入了使用GPT-4o提供准确且可解释的评估的强无参考度量InterleavedEval。通过广泛的实验和严格的人工评估，我们表明我们的基准和度量可以有效评估现有模型，并与以前的基于参考的度量具有较强的相关性。

Jun, 2024

通过显示不同的微调方法，我们展示了如何为Stable Diffusion XL生成具有商业2D图标训练集风格的高质量图标，并且强调了在生成高质量商业图标时需要专门的评估度量和微调方法。

Jul, 2024

本研究针对传统插图方法在文学作品表现中的不足，探讨使用稳定扩散模型进行插图创作的可行性。通过选取七部经典巴西书籍为案例，我们表明该方法不仅能够生成独特且切合主题的插图，还指出了其在捕捉复杂文学细节方面的局限性。这项研究为人工智能在文学插图中的应用前景和所面临的挑战提供了全面评估。

Aug, 2024