介绍一种新的无标记、分步、现场三维增强现实（AR）指导方法及其应用 - BRICKxAR（Multi 3D Models/M3D），用于小零件组装。通过使用深度学习训练的三维模型注册，BRICKxAR（M3D）能够在物理组装模型的组装位置逼真地可视化渲染的三维组装零件，并通过用户界面控制组装流程，同时结合多个组装阶段和步骤计数的方式来解决物体识别和跟踪的难题，从而简化复杂的组装过程并实现准确的物体识别和精确的可视化展示。通过对 BRICKxAR（M3D）的原型进行测试和启发式评估，并与可视化和人机交互领域的用户和专家进行定性分析，该方法具有提供强大的三维增强现实指导和处理组装模型的潜力，可应用于从制造组装到建筑施工等不同规模的领域。

Nov, 2023

本文研究的是将由人设计师创建的基于图像的逐步组装手册翻译成为机器可解释指令的问题，采用一种基于学习的框架，即 MEPNet，该框架通过对逐步手册图像序列的重建来重建组合步骤，通过神经网络的 2D 关键点检测模块和 2D-3D 投影算法来预测 3D 姿态。

Jul, 2022

通过使用 LEGO 积木，构建 LTRON 立体互动模拟器及 LEGO 创作数据集，利用 sequence-to-sequence 模型实现交互式推理，推动面向基础几何理解的研究。

Jul, 2022

BricksRL 是一个用于加强学习研究和教育的平台，它通过与 TorchRL 库连接，实现了在现实世界中创建、设计和训练定制的 LEGO 机器人，通过蓝牙双向通信与 LEGO 智能中枢交互，从而实现了 GPU 上的最先进的加强学习训练，为各种 LEGO 构建提供了灵活和高效的扩展方法。

Jun, 2024

一篇关于图像引导物体组装的研究论文介绍了一项新任务：将结构 3D 模型的多视角图像（例如，从 3D 对象库中选择的积木构建而成的模型）翻译成可由机器人臂执行的详细组装指令序列。该论文提出了一种名为神经组装者的端到端模型，通过学习图形对象图来识别图像中的组件，并通过边指定 3D 模型的拓扑结构，从而得出组装计划，并进行了全面的实证评估，证明了神经组装者的优越性。

Apr, 2024

提出一种基于 answer set programming 的协作装配方法，结合常识推理和丰富的通信行为，用于应对组装过程中的不确定性，适用于现实世界中的协作任务，如家具组装等。

Aug, 2020

本文介绍了 IKEA-Manual 数据集，提供了 102 个 IKEA 物体的图形化组装手册，包含细致全面的注释，以解决目前在构建能够执行装配任务的代理时，忽略了人类设计手册的信息的问题。该数据集有助于提高组装计划生成、部件分割、姿态估计和 3D 部件组装的效率。

Feb, 2023

采用预训练语言模型生成行动计划是一种很有前途的研究策略，本文提出了一种新的方法，将语言模型与强化学习相结合，用于在类似 Minecraft 的环境中按照自然语言指令构建对象，在 IGLU 2022 竞赛中形成了强化学习基线。

Nov, 2022

通过利用学习的知识库，我们构建了一个基于空间和时间信念的系统，能够识别装配程序中的排序错误，并通过实验验证了我们的算法在实际行动序列中识别错误顺序方面的卓越性能。

Jul, 2023

通过硬件 - 软件协同设计，本文研究了安全高效的机器人乐高操控，并设计了末端工具（EOAT）以降低问题维度，使得大型工业机器人能够轻松操控乐高积木。同时，通过进化策略在乐高操控中安全优化机器人运动。实验结果表明，EOAT 在操控乐高积木上表现可靠，学习框架能有效且安全地提高操控性能达到 100% 成功率。通过在多个机器人上（例如 FANUC LR-mate 200id/7L 和 Yaskawa GP4）部署该协同设计，验证其泛化和可迁移性。最后证明所提出的解决方案实现了可持续的机器人乐高原型制作，使得机器人能够反复组装和拆解不同的原型。

Sep, 2023