Jun, 2024

文本 2 机器人：从文本描述到进化机器人设计

PDF
TL;DR通过将用户的文本规格和性能偏好转化为物理四足机器人，Text2Robot 框架在几分钟内使用文本到 3D 模型，提供多样的初始骨架，再通过几何处理算法和身体控制协同优化，在一天内考虑真实世界的电子设备和可制造性，生成行走机器人。Text2Robot 实现了快速原型设计和开发生成模型的机器人设计新机遇。
robot designautomated processestext2robotquadrupedal robotsgenerative models
发现论文，激发创造
  • 机器人的高效自动设计

    该论文提出基于进化算法进行机器人设计的新方法，通过随机生成初始身体结构，能够优化设计一种可行的四足机器人结构，具备高效行走能力，并通过自动化制造实现机器人的快速设计制造和部署。

    Jun, 2023

  • 探究机器人设计对学习和神经控制的影响

    通过设计机器人体形，可以在多任务场景下克服神经控制器所遇到的许多问题，从而实现设计更通用、需要更少计算力的机器人。

    Jun, 2023

  • Text2Avatar：基于编码本驱动的身体可控属性的文本生成三维人体化身

    使用 Text2Avatar 生成的 3D 真实风格人物化身，可通过耦合的文本数据生成逼真的 3D 角色模型，从而帮助减少人物建模的成本和时间。

    Jan, 2024

  • 用于工程设计优化的大型语言和文本到 3D 模型

    本文研究了在工程领域中，利用深度文本到 3D 模型的潜力，将其与计算模拟设计优化中的三维资产相结合，探讨了由于自然语言的不同解释而导致优化框架的挑战，并在航空动力学优化中，成功地利用 Shap-E 和两种不同的表示文本提示的方法，实现自动进化设计优化框架的构建，研究结果表明需要确保生成的设计在应用领域的对象类别内，并需要进一步研究如何提高文本提示变化强度和 3D 设计变化的因果关系。

    Jul, 2023

  • 基于文本的可控人类图像生成

    本文提出一种名为 Text2Human 的控制性框架，用于基于文本的生成高质量和多样化的人类图像。在此框架下，我们建立了一个分层的纹理感知码书，以存储不同类型纹理的多尺度神经表征，并使用混合专家的扩散变换采样器采样码书中的索引。通过使用细粒度文本输入，生成的图像具有更高的质量和更多的多样性，拥有比现有方法更好的性能。

    May, 2022

  • 利用生成人工智能创造新型软体机器人设计

    利用生成性人工智能设计复杂软体机器人系统的潜力和未来进展。

    May, 2024

  • 自动密集奖励函数生成器：强化学习的应用

    使用 Text2Reward 框架，基于大规模语言模型生成紧凑环境的密集奖励函数，实现对机器人操纵和运动任务的迭代优化，在 13 个操纵任务中成功率优于或与专家编写的奖励函数相当，对于运动任务，成功率超过 94%，证明在模拟和真实世界中均具备部署能力。

    Sep, 2023

  • PaperRobot: 科学思想的增量式草稿生成

    本文介绍了一种名为 PaperRobot 的自动研究助手系统，它通过构建全面的背景知识图谱、预测新的创意链接、以及基于记忆 - 注意力网络来生成新论文的关键要素，从而实现对大规模人类写作论文的深入理解，并通过图注意力和上下文文本注意力进行多角度分析和生成。经过图灵测试，PaperRobot 的生成摘要、结论和未来工作部分以及新标题被选择的概率分别高达 30％，24％和 12％以上，超过了人工写作的水平。

    May, 2019

  • 快速概念设计探索与原型制作：基于生成人工智能的 Sketch2Prototype

    Sketch2Prototype 是一个基于人工智能的框架，通过手绘草图到文本、文本到图像、图像到 3D 的转换过程，快速生成文本、图像和 3D 模型，用于提升早期设计阶段的探索。研究表明，使用文本作为中间模态可以比直接将草图转换为 3D 模型的基准方法产生更加多样且可制造的 3D 模型。同时，发现了现有图像到 3D 技术的局限性，并强调了文本模态在用户反馈和迭代设计中的价值。

    Mar, 2024

  • 可微分机器人的演化与学习

    通过大规模并行可微分仿真，利用遗传算法对机器人进行自动设计，通过优化机器人的行为并探索不同机械结构的变化，发现进化可产生逐渐可微分的机器人，在实体机器人上验证了优化行为的可行性，从而拓宽了我们对生物系统中进化和学习之间关系以及机器人物理结构对策略训练能力影响的理解。

    May, 2024