EMNLPOct, 2023

WordArt Designer：使用大型语言模型进行用户驱动的艺术字体合成

PDF
TL;DR这篇论文介绍了 “WordArt Designer”，一种依赖于大型语言模型（LLM）的用户驱动艺术字体综合框架，结合了生成式人工智能与艺术字体设计，包括 LLM 引擎、SemTypo 模块、StyTypo 模块和 TexTypo 模块等四个关键模块。
wordart designerartistic typography synthesislarge language modelsllm enginegenerative ai
发现论文，激发创造
  • WordArt Designer API：基于大型语言模型的用户驱动艺术字体合成

    该研究介绍了 WordArt Designer API，这是一种利用 ModelScope 上的大语言模型（LLMs）进行用户驱动的艺术字体合成的新型框架。我们通过提供一种动态、自适应且计算高效的替代方案，解决了艺术字体对非专业人士的简化挑战。我们的方法利用 LLMs 的能力来理解和解释用户输入，从而实现更直观的设计过程。通过各种案例研究，我们展示了用户如何表达他们的审美偏好和功能要求，系统则将其转化为独特且创意的字体设计。我们的评估结果表明，与现有系统相比，用户满意度、设计灵活性和创造性表达都有显着改进。WordArt Designer API 不仅民主化了字体艺术，还为个性化的数字传播和设计开辟了新的可能性。

    Jan, 2024

  • 元设计师：通过 AI 驱动、面向用户、多语言的字艺术综合推进艺术字体设计

    MetaDesigner 通过利用大型语言模型的优势来革新艺术排版综合，并以用户参与为中心的设计范式。该框架的核心是由 Pipeline、Glyph 和 Texture 代理组成的多代理系统，共同实现从语义增强到复杂纹理的定制 WordArt 的创建。MetaDesigner 通过综合多模型的见解和用户评估的全面反馈机制，迭代地改进和增强设计过程。通过这一反馈循环，该系统巧妙调整超参数以与用户定义的风格和主题偏好相一致，生成视觉吸引力和语境相关性均超出用户期望的 WordArt。经验证实，MetaDesigner 有效地服务于多种 WordArt 应用，持续生成美学吸引力和语境敏感性的结果。

    Jun, 2024

  • LLM 作为艺术总监（LaDi）：运用 LLM 来提升文本到媒体生成器

    近期的文本到图像生成的进展在艺术和电影等许多领域引起了革命，通过自动化生成高质量、上下文感知的图像和视频。本文介绍了一种技术，可以使大型语言模型作为艺术总监来增强图像和视频生成。我们描述了我们称之为 “LaDi” 的这种统一系统。我们探讨了 LaDi 如何集成多种技术来增加文本到图像生成器和文本到视频生成器的能力，重点是受限解码、智能提示、微调和检索。LaDi 和这些技术目前正在由 Plai Labs 开发的应用和平台中使用。

    Nov, 2023

  • 利用大型语言模型进行结构化设计空间的生成和探索，用于人机共创

    通过提出一个框架，使用户能够无缝地探索、评估和综合多种响应，并通过 Luminate 互动系统与 8 名专业作家的用户研究展示了这个框架的可行性和有用性，我们推进了与大型语言模型的创造性任务互动的方式，引入了一种利用大型语言模型的创造潜力的方法。

    Oct, 2023

  • 动态排版：让文字生动起来

    表达性的文字动画，结合了语义意义传达和用户提示驱动的活力运动，通过使用向量图形表示和全流程基于优化的框架，实现了自动化的动态排版方案，包括形状保持技术和感知损失规范化，通过定量和定性评估证明了该方法在生成连贯的文字动画时的有效性。

    Apr, 2024

  • GlyphDraw2：使用扩散模型和大型语言模型自动生成复杂字形海报

    我们提出了一种端到端的文本渲染框架，利用三重交叉关注机制在细致的背景环境中创建精确的海报文本，验证了该方法生成具有复杂和丰富背景的海报图像的能力。

    Jul, 2024

  • 内容感知布局推断的美学文本标志合成

    本文介绍了一种基于内容感知布局生成网络的方法，将字形图像和对应文本作为输入，自动生成美观的排版布局。在设计中融合了语言学和视觉语义信息，同时训练和评估了文本 Logo3K 数据集，验证了其在合成视觉上令人愉悦的文本 Logo 方面的优越性。

    Apr, 2022

  • GenArtist: 多模式 LLM 作为统一图像生成和编辑的代理

    提出了 GenArtist，这是一个通过多模态大型语言模型 (MLLM) 代理协调的统一图像生成和编辑系统，利用该代理进行工具选择和执行，将现有模型整合到工具库中，并利用 MLLM 代理将复杂问题分解成较简单的子问题，并构建树状结构以系统地规划生成、编辑和自我纠正的步骤验证，通过自动生成缺失的位置相关输入和合并位置信息，可以有效地应用适当的工具来解决每个子问题，实验表明 GenArtist 可以执行各种生成和编辑任务，并取得最先进的性能，超过了现有模型，如 SDXL 和 DALL-E 3。

    Jul, 2024

  • 大型语言模型如何帮助人类在设计和制造中？

    大型语言模型 (Large Language Models, LLMs)，如 GPT-4 的进步为生成设计提供了新的机会，本文调查了该工具在整个设计和制造流程中的应用。通过一系列示例，我们突出了当前 LLMs 的优点和局限性，旨在推动这些模型的持续改进和进步。

    Jul, 2023

  • 使用现成的扩散模型生成印刷文本

    该研究提出了一种排版文本生成系统，结合了扩散模型的控制方法和混合潜在扩散模型，实现了在排版设计上添加和修改文本，并指定字体风格、颜色和文本效果。通过合适的边缘条件，该系统能够生成指定字体的文本，同时应用提前设定的效果，如阴影和倒影，成功地将文本添加和修改在预设的背景上，保持整体的一致性。

    Feb, 2024