PosterLlama 是一种生成视觉上连贯且文本相关的布局的网络，通过重新格式化布局元素为 HTML 代码并利用语言模型中嵌入的丰富设计知识来进行设计，通过独特的基于深度的海报增强策略提高模型的鲁棒性。在多个基准测试中，PosterLlama 在生成真实且内容感知的布局方面优于现有方法，支持无条件布局生成、元素条件布局生成、布局完成等条件，并作为一种高度灵活的用户操作工具。

Apr, 2024

该研究提出了一种基于大型语言模型（LLMs）的 LI3D 系统，它集成了 LLMs 作为 3D 布局解释器到现有的布局生成模型中，使用户能够灵活且交互式地生成 3D 场景并且验证其有效性和性能。

May, 2023

最近大型语言模型的进展激发了研究人员和行业专业人员的兴趣，特别是在与移动用户界面相关的任务中的应用。本研究探讨了使用大型语言模型进行用户界面布局生成的方法，并引入了 UI 语法的概念，以更有效地指导生成能力，并提高过程的可解释性和可控性。通过与 GPT-4 进行的初步实验表明，大型语言模型通过上下文学习具有产生高质量用户界面的有希望的能力。此外，我们的初步比较研究显示了基于语法的方法在改善特定方面的生成结果质量方面的潜力。

Oct, 2023

通过将 LLM 作为连接多个专家模型的桥梁，采用 u-LLaVA 方法来解决多模态 LLM 在任务间产生的幻觉和相互干扰问题，该方法有效且简单，并在多个基准测试中获得了最先进的性能。

Nov, 2023

研究论文通过设计 DocLLM 模型，结合文本语义和空间布局，以有效地理解企业文件的丰富语义，摆脱昂贵的图像编码器，侧重于使用边界框信息来处理不规则布局和异构内容的视觉文件，通过预训练和微调，优于当前最优模型在多个任务中的性能，并且对于先前未见过的数据集具有较好的泛化能力。

Dec, 2023

在图形设计领域，自动化地将设计元素整合为一个连贯的多层艺术作品不仅提高了工作效率，还为图形设计的大众化铺平了道路。本文介绍了一种称为 Hierarchical Layout Generation (HLG) 的更灵活和实用的设置，它从无序的设计元素集合中创建图形构图。通过基于大型多模态模型的图形生成模型 Graphist，我们有效地将 HLG 作为一个序列生成问题来解决，并利用 RGB-A 图像作为输入，输出一个 JSON 草稿协议，指示每个元素的坐标、大小和顺序。我们开发了新的 HLG 评估指标，Graphist 在性能上超过了以往的技术，为该领域奠定了坚实的基础。项目主页：[此处为项目主页的链接]

Apr, 2024

本研究提出了一种基于 LLM / MLLM 的文档理解方法 LayoutLLM，核心是一种专门设计的布局指令调整策略，通过布局感知的预训练和布局感知的监督微调来提高对文档布局的理解和利用，同时使用 LayoutCoT 模块来生成准确答案并提升文档理解的性能。

Apr, 2024

本文提出了 LayoutLLM，一种更灵活的文档分析方法，用于理解图像化文档。通过利用现有研究在文档图像理解和大规模语言模型的优势，通过与多模态指令数据集进行微调，提出的模型在单个模型中执行对文档图像的理解，并通过实验证明在各种文档分析任务中改进了基线模型。

Mar, 2024

通过统一的多模态编码器和渐进式多模态对齐管道，OneLLM 将八种模态与语言对齐，以充分发挥其在指令跟随中的潜力；在全面的多模态指令数据集上进行评估，并在多模态字幕生成、问答和推理等任务中展现出优异性能。

Dec, 2023

LayoutGPT 是一种利用 LLMS 生成样式表语言的方法，能够生成多个视觉域中的可信布局，包括三维室内场景；当与下游图像生成模型相结合时，比文本到图像模型系统表现更好，并可在正确性方面与人类用户进行比较，同时在 3D 室内场景合成方面也与监督方法实现相当的性能。

May, 2023