Jan, 2024

WordArt Designer API：基于大型语言模型的用户驱动艺术字体合成

PDF
TL;DR该研究介绍了 WordArt Designer API，这是一种利用 ModelScope 上的大语言模型（LLMs）进行用户驱动的艺术字体合成的新型框架。我们通过提供一种动态、自适应且计算高效的替代方案，解决了艺术字体对非专业人士的简化挑战。我们的方法利用 LLMs 的能力来理解和解释用户输入，从而实现更直观的设计过程。通过各种案例研究，我们展示了用户如何表达他们的审美偏好和功能要求，系统则将其转化为独特且创意的字体设计。我们的评估结果表明，与现有系统相比，用户满意度、设计灵活性和创造性表达都有显着改进。WordArt Designer API 不仅民主化了字体艺术，还为个性化的数字传播和设计开辟了新的可能性。
发现论文，激发创造
  • WordArt Designer：使用大型语言模型进行用户驱动的艺术字体合成

    这篇论文介绍了 “WordArt Designer”，一种依赖于大型语言模型（LLM）的用户驱动艺术字体综合框架，结合了生成式人工智能与艺术字体设计，包括 LLM 引擎、SemTypo 模块、StyTypo 模块和 TexTypo 模块等四个关键模块。

    Oct, 2023

  • 元设计师：通过 AI 驱动、面向用户、多语言的字艺术综合推进艺术字体设计

    MetaDesigner 通过利用大型语言模型的优势来革新艺术排版综合，并以用户参与为中心的设计范式。该框架的核心是由 Pipeline、Glyph 和 Texture 代理组成的多代理系统，共同实现从语义增强到复杂纹理的定制 WordArt 的创建。MetaDesigner 通过综合多模型的见解和用户评估的全面反馈机制，迭代地改进和增强设计过程。通过这一反馈循环，该系统巧妙调整超参数以与用户定义的风格和主题偏好相一致，生成视觉吸引力和语境相关性均超出用户期望的 WordArt。经验证实，MetaDesigner 有效地服务于多种 WordArt 应用，持续生成美学吸引力和语境敏感性的结果。

    Jun, 2024

  • 利用大型语言模型进行结构化设计空间的生成和探索，用于人机共创

    通过提出一个框架，使用户能够无缝地探索、评估和综合多种响应，并通过 Luminate 互动系统与 8 名专业作家的用户研究展示了这个框架的可行性和有用性，我们推进了与大型语言模型的创造性任务互动的方式，引入了一种利用大型语言模型的创造潜力的方法。

    Oct, 2023

  • 探索大型语言模型在艺术创作中的潜力：创意编程中的合作与反思

    大型语言模型的艺术潜力在创意编码中的艺术家与人工智能协作中被广泛利用，我们的研究揭示艺术家创作过程中这种协作方式中的反思类型，比较了整个程序和多个子任务两种常见的协作方式，并通过实验数据和定性访谈展示了艺术家在两种不同方法中的不同反思激发，并显示了反思类型与用户表现、用户满意度和主观体验的相关性。同时，我们从艺术家的视角提供了人工智能协作的关键观点，并为未来 AI 辅助创意任务的设计提供了建议。

    Feb, 2024

  • LLM 作为艺术总监（LaDi）：运用 LLM 来提升文本到媒体生成器

    近期的文本到图像生成的进展在艺术和电影等许多领域引起了革命，通过自动化生成高质量、上下文感知的图像和视频。本文介绍了一种技术，可以使大型语言模型作为艺术总监来增强图像和视频生成。我们描述了我们称之为 “LaDi” 的这种统一系统。我们探讨了 LaDi 如何集成多种技术来增加文本到图像生成器和文本到视频生成器的能力，重点是受限解码、智能提示、微调和检索。LaDi 和这些技术目前正在由 Plai Labs 开发的应用和平台中使用。

    Nov, 2023

  • AI 辅助修订：朝着完全作者身份的迈进

    通过提供 LLM 生成的摘要、问题和建议，Textfocals 支持写作过程，鼓励用户反思和自主修订，以维护其写作的完全创作权。与 Textfocals 的一个初步用户研究表明，这种方法可能有助于用户发展不成熟的想法，迎合修辞听众，并澄清他们的写作。但研究也发现了与文档导航和范围界定、提示工程和上下文管理相关的交互设计挑战。我们的研究突出了由生成 AI 支持的写作支持界面的设计空间的广度。

    Mar, 2024

  • 内容感知布局推断的美学文本标志合成

    本文介绍了一种基于内容感知布局生成网络的方法，将字形图像和对应文本作为输入，自动生成美观的排版布局。在设计中融合了语言学和视觉语义信息，同时训练和评估了文本 Logo3K 数据集，验证了其在合成视觉上令人愉悦的文本 Logo 方面的优越性。

    Apr, 2022

  • GlyphDraw2：使用扩散模型和大型语言模型自动生成复杂字形海报

    我们提出了一种端到端的文本渲染框架，利用三重交叉关注机制在细致的背景环境中创建精确的海报文本，验证了该方法生成具有复杂和丰富背景的海报图像的能力。

    Jul, 2024

  • 关于人工智能启发的用户界面设计

    通过本文讨论了三种不同的方法来利用人工智能 (AI) 来支持应用设计师创造更好、更多样化和更具创意的移动应用界面 (UI)：第一种方法是设计师可以使用大型语言模型 (LLM)，如 GPT，直接生成和调整一个或多个 UI；第二种方法是使用视觉 - 语言模型 (VLM) 有效地搜索大型截图数据集，例如应用商店中发布的应用；第三种方法是训练一个专门设计用于生成应用界面的扩散模型 (DM)，作为启发性图片。我们讨论了如何使用 AI 来激发和辅助创造性应用设计，而不是自动化它。

    Jun, 2024

  • 基于人类审美偏好的大型文本到图像模型个性化：以康定斯基生成为例

    使用神经生成能力和感知注入技术，本研究提出了一种无需提示的生成方法，使用户能够自动生成个性化的具有自定义艺术风格的画作内容。

    Feb, 2024