Jul, 2023

数字建模化为人人所用：初学者进行基于语音的 3D 建模的探索

PDF
TL;DRThis research explores the mental model of novices in voice-based 3D modeling and provides design implications for voice assistants to deal with vague, incomplete and wrong commands, provide straightforward commands for shaping objects, and offer different strategies for selecting 3D objects.
3d modelingnovicesvoice-baseddesign implications3d objects
发现论文，激发创造
  • Make-Your-3D：快速而一致的主题驱动三维内容生成

    我们引入了一种新颖的 3D 个性化方法，名为 Make-Your-3D，可以从单个主题图像和文本描述中提取个性化的高保真、一致的 3D 内容，在 5 分钟内完成。我们设计了一个共同进化的框架，通过身份感知优化和主题先验优化，使多视图扩散模型和身份特定的 2D 生成模型的分布与期望的 3D 主题的分布相一致。广泛的实验证明我们的方法可以产生高质量、一致性和主题特定的 3D 内容，并进行文本驱动的修改。

    Mar, 2024

  • 构建虚拟世界：从提示到实现的步骤

    本文介绍了利用大型语言模型进行代码生成的方法，以实现在虚拟现实世界中运用生成过程、计算机协助创作游戏和制作静态内容，同时探讨了如何评估和基准测试由生成模型创建的交互体验以及 AI 辅助共同创作在虚拟现实中的挑战。

    Nov, 2022

  • 野外文本生成三维内容调查

    文献调查了最新的文本生成三维内容的方法，并详细介绍了该领域的背景、数据集、评估指标以及不同的三维表示方法。通过对生成流程的分类和优劣势的分析，为进一步探索基于文本的三维内容创建提供了启示，并指出了未来研究的几个有希望的方向。

    May, 2024

  • 用于工程设计优化的大型语言和文本到 3D 模型

    本文研究了在工程领域中，利用深度文本到 3D 模型的潜力，将其与计算模拟设计优化中的三维资产相结合，探讨了由于自然语言的不同解释而导致优化框架的挑战，并在航空动力学优化中，成功地利用 Shap-E 和两种不同的表示文本提示的方法，实现自动进化设计优化框架的构建，研究结果表明需要确保生成的设计在应用领域的对象类别内，并需要进一步研究如何提高文本提示变化强度和 3D 设计变化的因果关系。

    Jul, 2023

  • 3D-PreMise: 大型语言模型能否生成具备清晰特征和参数控制的三维形状？

    文中介绍了使用大型语言模型（LLMs）通过程序合成操作 3D 软件生成以文本驱动的三维形状的框架，旨在解决精确建模带有参数控制的具有锐利特征的几何图形的挑战，并强调了 LLMs 在工业应用的三维参数建模中的潜力和局限性。

    Jan, 2024

  • 三维视觉语言模型真正理解自然语言吗？

    3D-VL 模型面临语言输入样式的敏感性，本研究通过提出一个语言鲁棒性任务和设计 3D 语言鲁棒性数据集评估现有模型的性能，在各种 3D-VL 任务中发现所有模型性能显著下降。现有模型存在脆弱和偏置的融合模块，缺乏多样性的现有数据集是其根源，最后通过由 LLM 驱动的无需训练模块来提高语言鲁棒性。

    Mar, 2024

  • VR-GPT：智能虚拟现实应用的视觉语言模型

    本研究介绍了一种创新方法，利用 VR 环境中的 VLMs（Visual Language Models）来增强用户交互和任务效率，通过自然语言处理实现实时、直观的用户交互，不依赖于视觉文本指令。使用语音识别和文本转语音技术，使用户与 VLM 之间实现无缝通信，有效地引导用户完成复杂任务。初步实验结果显示，使用 VLMs 不仅能够缩短任务完成时间，还能提高用户舒适度和任务参与度，相较于传统的 VR 交互方法。

    May, 2024

  • Voice2Action: 語言模型在虛擬現實中作為高效實時互動的代理

    使用 Voice2Action 框架，在虚拟现实环境中通过分析声音信号和文本命令，进行分级处理和执行任务，以提高效率。

    Sep, 2023

  • 迈向增材制造领域基础 AI 模型：G 代码调试、操作和理解的语言模型

    3D 打印与 G 代码的调试是一项具有挑战性的任务，本研究通过评估六种最先进的大型语言模型（LLMs）的性能，展示了它们理解和调试 3D 打印中的 G 代码文件的能力，并分析了它们的优势、弱点和应用限制。

    Sep, 2023

  • 3D-LLM：将三维世界注入大型语言模型

    我们提出了一种新的 3D-LLMs，将 3D 世界引入大型语言模型，并利用 3D point clouds 进行各种 3D 相关任务，通过我们设计的提示机制收集了超过 300k 的 3D 语言数据，实验证明我们的模型在 ScanQA 上的表现超过了最先进的基准方法，并在 3D 字幕、任务组合和 3D 辅助对话方面优于 2D VLMs。

    Jul, 2023