CVPRJun, 2024

OpenCOLE：朝可重现的自动图形设计生成迈进

PDF
TL;DR最近自动生成图形设计受到了极大关注。然而，现有技术方法较为复杂且依赖专有数据集，从而造成了难以复现的障碍。本文提出了一种名为 OpenCOLE 的用于自动图形设计的开放框架，在此基础上，我们建立了一种改进版的 COLE 并仅使用公开的数据集进行模型训练。根据 GPT4V 评估，我们的模型表现出与原始 COLE 可比的有希望的性能。我们发布了该流程和训练结果，以促进开放式开发。
发现论文，激发创造
  • COLE: 图形设计的层次生成框架

    介绍了一个名为 COLE 的分层生成框架，用于将简单的意图提示转化为高质量的平面设计，并支持根据用户输入进行灵活编辑，通过分解任务、合作模型和整合结果，提供了生成可靠性的显著提升。

    Nov, 2023

  • SketchyCOCO: 由自由形手绘场景草图生成图像

    本文提出了一种通过免费手绘的草图实现控制式图像生成的方法，使用由属性向量桥接的生成对抗网络进行高质量的对象级图像内容生成，在称为 SketchyCOCO 的大规模混合数据集中验证了该方法的运用和效果并证明了其生成逼真复杂的场景级图像的能力。

    Mar, 2020

  • 零样本协同合作开放式学习框架

    本文提出了 Cooperative Open-ended LEarning (COLE) 框架，通过图形论的角度构建协作游戏的开放式目标，评估和确定每种策略的协作能力，进而解决合作不兼容的问题，并且实验证明该方法在与不同级别伙伴协调时优于现有的最先进方法。

    Feb, 2023

  • DLPaper2Code: 深度学习研究论文代码自动生成

    提出了一种新颖的可扩展方法 DLPaper2Code，用于提取和理解研究论文中可用的深度学习设计流程图和表格，并将其转换为抽象的计算图，最终实时转换为 Keras 和 Caffe 的执行源代码，同时生成的设计可以通过直观的拖放 UI 框架进行评级和编辑。这种方法在模拟数据集上的实验表明，提取出的流程图内容的准确率高达 93％以上。

    Nov, 2017

  • 模型开放性框架：推动人工智能的可复制性、透明度和可用性的完整性与开放性

    生成人工智能（GAI）提供了前所未有的可能性，但其商业化引发了关于透明性、可重复性、偏见和安全性的担忧。我们提出了模型开放性框架（MOF），它是一个按照开放科学、开放源代码、开放数据和开放获取原则对机器学习模型进行评级分类的系统。MOF 要求模型开发生命周期的特定组成部分必须包括并以适当的开放许可发布。该框架旨在防止声称开放的模型的误导，指导研究人员和开发人员以自由许可发布所有模型组件，并帮助公司、学术界和爱好者识别可以安全无限制采用的模型。MOF 的广泛采用将促进更加开放的人工智能生态系统，加速研究、创新和采纳。

    Mar, 2024

  • OpenECAD: 一个高效的计算机辅助设计的视觉语言模型

    通过微调预训练模型创建了 OpenECAD，利用视觉语言模型的视觉、逻辑、编码和通用能力，将 3D 设计图像转换为高度结构化的 2D 草图和 3D 构造命令，并可直接与现有 CAD 工具的 API 一起使用，以生成项目文件。为了训练网络，创建了一个新的 CAD 数据集以满足视觉语言模型的需求。

    Jun, 2024

  • GenCO: 利用组合性质生成多样的设计问题解决方案

    通过与嵌入式组合优化求解器集成的深度生成模型，我们提出了 GenCO 框架，旨在发现与非线性目标一致的高质量解决方案，解决了传统的生成模型和优化求解器在遵循离散 / 组合约束和惩罚偏离方面的困难，以生成多样的、高质量的解。

    Oct, 2023

  • CoLay: 多条件潜在扩散控制布局生成

    提出了一种名为 CoLay 的新框架，它整合多种条件类型，生成具有多样化样式属性的复杂布局，优于先前工作在生成质量和条件满足方面，并使用户能够使用自然语言提示、布局指南、元素类型和部分完成的设计的灵活组合来表达设计意图。

    May, 2024

  • 解决协作不兼容问题实现零射击的人工智能协调

    通过采用博弈论和图论等技术，本文提出了 COLE 框架，用于解决协作不匹配问题，并在在线 Overcooked 人工智能实验平台中验证其有效性，结果表明其优于现有方法。

    Jun, 2023

  • 大型多模式模型的图形设计

    在图形设计领域，自动化地将设计元素整合为一个连贯的多层艺术作品不仅提高了工作效率，还为图形设计的大众化铺平了道路。本文介绍了一种称为 Hierarchical Layout Generation (HLG) 的更灵活和实用的设置，它从无序的设计元素集合中创建图形构图。通过基于大型多模态模型的图形生成模型 Graphist，我们有效地将 HLG 作为一个序列生成问题来解决，并利用 RGB-A 图像作为输入，输出一个 JSON 草稿协议，指示每个元素的坐标、大小和顺序。我们开发了新的 HLG 评估指标，Graphist 在性能上超过了以往的技术，为该领域奠定了坚实的基础。项目主页：[此处为项目主页的链接]

    Apr, 2024