具有有限数据的光度挑战物体的多模态六自由度姿态估计的偏振信息
本文探讨了光的偏振信息对单目 6D 物体姿态预测准确性的影响,并设计了一种混合模型,该模型将物理先验与数据驱动的学习策略结合起来,在不同光度复杂度的物体上进行了仔细的测试。实验结果表明,与现有的光度测量方法相比,我们的设计显著提高了姿态准确性,并能够实现高反射和透明物体的姿态估计。同时,我们还引入了一个新的多模式 6D 物体姿态数据集作为基准。
Dec, 2021
本研究提出了第一个自监督的多模态 RGB + 偏振图像的 6D 目标姿态预测方法,通过物理模型、师生知识蒸馏和逆可逆的物理约束等方式实现了稳健的几何表征和对偏振光的特征编码。通过自监督训练和物理约束,得到了准确的物体外观和几何信息,特别适用于具有挑战性纹理、反光表面和透明材料的物体。
Dec, 2023
本文介绍了一个用于增强现有的 3D 感知和 6D 物体姿态数据集的新注解和获取方法,通过机器人前向运动学、外部红外跟踪器和改进的校准和注解过程,提出了一个多模态传感器装置,据此创建了高精度的 3D 数据,有效克服了现有数据集的限制,并为 3D 视觉研究提供了宝贵的资源。
Aug, 2023
本文提出了一种新的方法,使用注意力机制有效地考虑 RGB 和深度之间的相关性,探索了用于确保 RGB 和深度之间有效信息流的内部和交叉相关模块的有效融合策略。实验结果表明,该方法在对象姿态估计方面的表现优于现有方法,并证明了该方法可以为真实世界的机器人抓取任务提供准确的物体姿态估计。
Sep, 2019
使用无监督学习的方法进行单眼 RGB 数据下的 6D 物体位姿估计,作者训练了一个神经网络模型,通过真实 RGB-D 数据的自监督模式来提高模型的性能表现,并证明了该方法能够显著地优化模型的性能,超过了其他使用合成数据或领域适应技术的方法。
Apr, 2020
无需辅助信息,我们提出了一种使用纯 RGB 图像进行训练的 6D 物体姿态估计方法,通过利用来自多个不同视角的合成至实图像对中的几何约束(以像素级流一致性的形式表示)进行精化策略,从合成图像中获得初始姿态估计,并使用动态生成的伪标签。在三个具有挑战性的数据集上进行评估,结果表明我们的方法明显优于最先进的自监督方法,无需 2D 注释或额外的深度图像。
Aug, 2023
本文介绍了一个新的数据集和基准测试标准,主要针对从 3D 模型(有纹理和无纹理)训练,可扩展性,遮挡,光照和物体外观的变化等方面测试 6D 姿态估计算法的性能,并使用最先进的 DPOD 检测器来设置基线。
Apr, 2019
本文提出使用基于深度生成模型的图像翻译技术 CycleGAN 来将大型标记路景数据集转换到极化领域,通过一些附加损失项来处理极化图像的物理约束条件,从而实现在道路场景的物体检测任务中提高汽车和行人检测的性能高达 9%的目标,该方法已经公开发布以供其他人使用。
Jun, 2022
本文提出了一种使用多模式相机组合极化、ToF 和结构光信号的深度预测方法,该方法使用可微的分析模型将场景几何与极化和 ToF 等信号连接起来,实现自监督和跨模态学习,在自定义的 CroMo 数据集上获得了优异的性能表现。
Mar, 2022
本文中,我们分析了使用 RGB 偏振相机相比 RGB 相机在感知任务中的潜在效果,并探讨了深度神经网络的应用,研究表明,使用 RGB 偏振相机可以在双目深度估计和自由空间检测方面实现可量化的改进,同时,我们还提出了一种新的数据集,为感知算法的发展提供了支持。
May, 2023