Jan, 2024

3D-PreMise: 大型语言模型能否生成具备清晰特征和参数控制的三维形状？

PDF
TL;DR文中介绍了使用大型语言模型（LLMs）通过程序合成操作 3D 软件生成以文本驱动的三维形状的框架，旨在解决精确建模带有参数控制的具有锐利特征的几何图形的挑战，并强调了 LLMs 在工业应用的三维参数建模中的潜力和局限性。
implicit 3d representationsgenerative modelsgeometries with defined sharp featureslarge language models (llms)3d parametric modeling
发现论文，激发创造
  • 3D-LLM：将三维世界注入大型语言模型

    我们提出了一种新的 3D-LLMs，将 3D 世界引入大型语言模型，并利用 3D point clouds 进行各种 3D 相关任务，通过我们设计的提示机制收集了超过 300k 的 3D 语言数据，实验证明我们的模型在 ScanQA 上的表现超过了最先进的基准方法，并在 3D 字幕、任务组合和 3D 辅助对话方面优于 2D VLMs。

    Jul, 2023

  • 面向语言引导的交互式 3D 生成：LLMs 作为布局解释器与生成反馈

    该研究提出了一种基于大型语言模型（LLMs）的 LI3D 系统，它集成了 LLMs 作为 3D 布局解释器到现有的布局生成模型中，使用户能够灵活且交互式地生成 3D 场景并且验证其有效性和性能。

    May, 2023

  • AWOL: 使用语言进行分析而无需综合

    通过语言控制现有 3D 模型生成新的形状，使用潜在空间和参数空间的映射来学习，从而实现从语言生成未在训练中见过的物体的参数。通过测试，展示了在两种不同类型的参数化形状模型（四足动物和树）上的效果，并且为生成 3D 树木方法的首次使用语言驱动。

    Apr, 2024

  • 3D-GPT：利用大型语言模型进行程序化 3D 建模

    基于 3D-GPT 的指令驱动的 3D 建模框架，利用语言模型实现了高效的自动内容创作，简化初始场景描述并从文本中提取参数值，与 3D 软件无缝集成，为未来场景生成和动画的进一步发展提供了基础。

    Oct, 2023

  • LLMs 跨入 3D 世界：多模态大语言模型对 3D 任务的调查与元分析

    大型语言模型（LLMs）与三维空间数据（3D-LLMs）的整合不断进步，为理解和与物理空间互动提供了前所未有的能力。本文综述了使 LLMs 能够处理、理解和生成 3D 数据的方法，强调了其在上下文学习、逐步推理、开放词汇能力和广泛的世界知识等独特优势，并强调了它们在体现人工智能系统中显著促进空间理解和互动方面的潜力。我们的研究涵盖了从点云到神经辐射场（NeRFs）等各种 3D 数据表示，分析了它们与 LLMs 的整合在 3D 场景理解、字幕生成、问答和对话，以及基于 LLMs 的空间推理、规划和导航等任务中的应用，同时还对整合 3D 和语言的其他方法进行了简要回顾。本文的元分析显示取得了显著进展，但也强调了利用 3D-LLMs 的全部潜力需要创新方法的必要性。因此，本文旨在为未来的研究规划一个探索和扩展 3D-LLMs 在理解和与复杂 3D 世界互动方面能力的道路。为了支持这项综述，我们建立了一个项目页面，其中整理和列出了与我们的主题相关的论文。

    May, 2024

  • 利用大型语言模型进行结构化设计空间的生成和探索，用于人机共创

    通过提出一个框架，使用户能够无缝地探索、评估和综合多种响应，并通过 Luminate 互动系统与 8 名专业作家的用户研究展示了这个框架的可行性和有用性，我们推进了与大型语言模型的创造性任务互动的方式，引入了一种利用大型语言模型的创造潜力的方法。

    Oct, 2023

  • 大型语言模型如何帮助人类在设计和制造中？

    大型语言模型 (Large Language Models, LLMs)，如 GPT-4 的进步为生成设计提供了新的机会，本文调查了该工具在整个设计和制造流程中的应用。通过一系列示例，我们突出了当前 LLMs 的优点和局限性，旨在推动这些模型的持续改进和进步。

    Jul, 2023

  • ShapeGPT：统一多模态语言模型用于 3D 形状生成

    ShapeGPT 是一个包含形状的多模态框架，利用强大的预训练语言模型解决多个与形状相关的任务，包括文本到形状的转换和形状编辑。

    Nov, 2023

  • 具备 3D 理解的语言 - 图像模型

    通过扩展多模态大语言模型 (MLLMs) 的感知能力以在三维空间中对图像进行定位和推理，本研究引入了一个名为 Cube-LLM 的新 MLLM，并在 LV3D 数据集上进行预训练，实验表明 Cube-LLM 在整体 MLLM 和特定领域的基准测试中均表现出色，并取得了显著的成果。

    May, 2024

  • 用于工程设计优化的大型语言和文本到 3D 模型

    本文研究了在工程领域中，利用深度文本到 3D 模型的潜力，将其与计算模拟设计优化中的三维资产相结合，探讨了由于自然语言的不同解释而导致优化框架的挑战，并在航空动力学优化中，成功地利用 Shap-E 和两种不同的表示文本提示的方法，实现自动进化设计优化框架的构建，研究结果表明需要确保生成的设计在应用领域的对象类别内，并需要进一步研究如何提高文本提示变化强度和 3D 设计变化的因果关系。

    Jul, 2023