Nov, 2023

基于多个 3D 模型的注册的增强现实（AR）装配指导

PDF
TL;DR介绍一种新的无标记、分步、现场三维增强现实（AR）指导方法及其应用 - BRICKxAR（Multi 3D Models/M3D），用于小零件组装。通过使用深度学习训练的三维模型注册，BRICKxAR（M3D）能够在物理组装模型的组装位置逼真地可视化渲染的三维组装零件，并通过用户界面控制组装流程，同时结合多个组装阶段和步骤计数的方式来解决物体识别和跟踪的难题，从而简化复杂的组装过程并实现准确的物体识别和精确的可视化展示。通过对 BRICKxAR（M3D）的原型进行测试和启发式评估，并与可视化和人机交互领域的用户和专家进行定性分析，该方法具有提供强大的三维增强现实指导和处理组装模型的潜力，可应用于从制造组装到建筑施工等不同规模的领域。
markerless3d augmented realitybrickxar (m3d)assemblyobject recognition
发现论文，激发创造
  • BrickPal：基于增强现实的积木模型装配指南

    利用增强现实技术的 BrickPal 系统，结合自然语言处理技术生成装配指南，通过 AR 头显提供实时指导，有效地帮助用户进行积木组装，NLP 算法生成的装配序列与人工调整的序列有相同的可用性。

    Jul, 2023

  • GBOT: 基于图形的增强现实辅助装配导向的三维物体跟踪

    图形化对象追踪（GBOT）是一种基于图形的单视角 RGB-D 追踪方法，可用于实现上下文感知的增强现实组装指导。

    Feb, 2024

  • 从单张图片中学习 3D 零件组装

    该文章提出了一种用单张图片指导的三维部件自动组装的方法，该方法采用包括二维三维对应和面向组装的图传递等技术解决难题并证明了其高效性。

    Mar, 2020

  • 神经装配器：从多视图图像中学习生成细粒度的机器人组装指令

    一篇关于图像引导物体组装的研究论文介绍了一项新任务：将结构 3D 模型的多视角图像（例如，从 3D 对象库中选择的积木构建而成的模型）翻译成可由机器人臂执行的详细组装指令序列。该论文提出了一种名为神经组装者的端到端模型，通过学习图形对象图来识别图像中的组件，并通过边指定 3D 模型的拓扑结构，从而得出组装计划，并进行了全面的实证评估，证明了神经组装者的优越性。

    Apr, 2024

  • 基于数字孪生技术的边缘辅助移动增强现实三维地图管理

    本篇论文提出了一种数字孪生基于的 3D 地图管理方案，利用模型驱动增强学习算法对摄像头逐帧预测和上传，以解决动态环境中边缘增强现实设备姿态估计不确定性和数据不足的问题。模拟结果表明，该方案可以在动态环境中实现更低的姿态估计不确定性和更高的数据效率。

    May, 2023

  • MobileBrick：在移动设备上构建三维重建的乐高

    通过利用具备已知几何形状的乐高模型，在手机采集的高分辨率 RGB 图像和低分辨率深度图的基础上，得到了 153 个 3D 对象模型的高精度 3D 真实形状，该多视角 RGBD 数据集可在 3D 重建领域提供独特机会，对多种 3D 重建算法进行了评估。

    Mar, 2023

  • 基于深度学习的点云配准用于增强现实引导下的手术

    深度学习在增强现实引导手术中的应用可能性进行了评估，通过使用医学成像和基于 HoloLens 2 的点云数据集来研究深度学习点云对图像到患者注册的效果，并发现在具有挑战性的数据集上传统注册流程仍然优于某些深度学习方法。

    May, 2024

  • 即时运动追踪及其在增强现实中的应用

    本文介绍了一种基于移动设备的增强现实应用程序中的运动跟踪系统，该系统可以在无需标定的情况下进行稳健的平面目标跟踪和相对比例 6DoF 跟踪，该系统已在数亿个设备上部署，并应用于多个主要产品中。

    Jul, 2019

  • 基于人工智能的船只检测和识别的 AR 可视化系统

    基于人工智能和增强现实技术的 AR 可视化系统用于船舶检测和识别，通过 R3Det 算法实现远程感知图像中船舶的检测和识别，并在虚拟场景中生成船舶的 3D 模型，通过语音模块和 UI 交互模块实现部署在 Hololens2 上，实现计算机视觉和增强现实技术的融合。

    Nov, 2023

  • 推动增强现实中的 6D 姿态估计 — 克服非受控图像的投影模糊

    本研究主要解决在增强现实（AR）中准确估计六自由度姿态的挑战，我们提出了一种新颖的方法，通过分解 z 轴平移和焦距的估计，利用 FocalPose 架构中内置的神经渲染和比较策略，从无控制的 RGB 图像中准确估计六自由度姿态，并显著提高了 AR 环境中三维物体叠加的准确性，实验结果表明在六自由度姿态估计准确度上有明显改进，该研究成果对制造业和机器人领域具有潜在的重要应用。

    Mar, 2024