外科手术器械六自由度姿态估计的真实数据生成
使用经济可扩展的实际到合成数据的生成以及姿态估计器等最新组件,我们建立了一个代表性的 6D 姿态估计流程,并在实际的零件排序过程中对汽车零件进行了评估。通过分析发现,训练后的 6D 姿态估计器的性能有所改善,但不满足行业需求。我们揭示了造成这种情况的原因是估计器无法提供可靠的姿态不确定性,而不是提供充分准确的姿态。在此背景下,我们进一步分析了基于 RGB 和 RGB-D 的方法与通过合成数据引起的领域差异的比较,并发现它们对此具有不同的脆弱性。
Sep, 2023
手术仪器的准确六自由度姿态估计可以大大改善治疗策略和手术结果。我们提出了一种通用的六自由度姿态估计方法,用于 X 射线系统中的数据获取,具有快速准确的物体姿态估计能力。该方法在公共基准测试中取得了竞争性的结果,并能跨越不同的姿势估计领域,提高手术精确性和患者治疗效果。
May, 2024
提出了一种高保真度的非标记光学跟踪系统,用于手术器械的本地化,采用多视角相机布置,利用深度学习方法和数据融合技术,对不同输入模型和相机位置进行评估和比较,并且取得了比文献中相关方法更好的平均误差结果,从而展示了手术器械无标记跟踪已经成为了现实。
May, 2023
通过使用合成数据,我们提出了一种用于单个 RGB 图像的已知物体 6-DoF 姿态估计的深度神经网络训练方法,成功地跨越了所谓的现实间隙,并通过机器人进行了实时物体姿态估计,取得了与基于真实数据的深度神经网络相当的表现。
Sep, 2018
本篇论文提出 SyntheticP3D 数据集和 CC3D 方法,结合这两种方法可以实现在只用 10% 的真实数据的情况下,与当前最先进的模型在物体位姿估计方面取得了可与之媲美结果,在采用 50% 的真实数据时还超越了 SOTA 模型 10.4%。
May, 2023
这篇论文介绍了一个机器人系统,可以通过自主学习的方式进行物体位姿估计,并通过环境中的物体抓取或推动的交互方式持续收集数据并完善其位姿估计模块,从而提高对象分割和 6D 姿态估计的性能。
Sep, 2019
Mixed Reality 在手术中的应用,以及利用 egocentric dataset 进行手部姿态估计的研究,在这个研究中,通过 POV-Surgery 数据集和先进方法的 fine-tune,证明了其在真实手术场景中的普适性。
Jul, 2023
本文提出了一种迭代的自我训练框架,以促进成本效益的机器人抓取,该框架用于实现基于模拟的对象姿态估计,并不断改进以更好地预测真实数据,并在公开基准测试和作者新发布的数据集上取得了显著的提高。
Apr, 2022
本文介绍了一个新的数据集,用于 6-DoF 姿态估计已知物体,在机器人操作研究方面重要。数据集由一组玩具杂货物品组成,旨在方便机器人抓取和操纵,提供了这些物品的 3D 模型和 RGBD 图像,可用于产生合成训练数据,并提出了一个新的姿态评估指标 ADD-H。
Mar, 2022
本文提出了一种基于合成图像或少量真实图像训练的 6D 物体位姿估计方法,使用第一网络获得粗略姿态估计后,使用第二网络预测精细的二维对应场,并推断所需的姿态纠正,该方法在显著减少合成图像与真实图像领域差异的情况下具有与需要标注真实图像训练的方法相当的性能,而在使用 20 张真实图像时,它的性能明显优于它们。
Mar, 2022