本研究提出了一种基于 DIGIT 触觉传感器的视触对象重建框架 VTacO,并将其扩展到手 - 物体重建的 VTacOH,并通过 VT-Sim 模拟环境生成了大规模的训练数据集进行评估,展示了其在刚性和不可变形物体重建上具有优异的表现。
Mar, 2023
该研究提出了一种利用卷积神经网络和图像转化模型实现手持物体姿态和形状估计的方法,并使用合成数据训练模型,获得了在真实场景与合成场景数据上预测物体姿态和形状的良好结果。
Mar, 2019
本文提出了一个轻量级的模型(HOPE-Net),它使用两级自适应图卷积神经网络级联来实时联合估计手和物体姿势的 2D 和 3D 坐标,通过端到端训练获得更好的 2D 和 3D 坐标估计精度,并且该模型可用于其他 3D 关键点检测问题。
Mar, 2020
通过结合视觉和触觉传感来估计物体的位置和形状,本研究展示了多模态感知在手持操纵中的作用,证明触觉能够在手持操纵过程中改进视觉估计并提供更准确的感知,旨在推动机器人灵巧性的发展。
Dec, 2023
利用有限或无先验知识的握取问题是辅助机器人领域的高度相关技能。我们提出了一个基于深度学习的新型、快速且高保真度的流程,其中包括一个基于单深度图像的形状补全模块,以及一个基于预测对象形状的握取预测器。该流程在物理机器人平台上成功地实现了对各种家庭物品的握取。
Oct, 2023
本研究提出了一种基于多模态数据融合和图神经网络的机器人手部操作姿态估计方法,利用物体特征结构和内部的感性信息来提高估计精度,并在 YCB 数据集和实际机器人操作中进行了验证。
Jun, 2023
本文介绍了一种新的方法,通过感知系统提供场景中所有物体的几何和语义信息,同时提供这些物体的可行抓取,以加速机器人操作的复杂度。通过详细的定量分析,我们展示了我们的方法通过在 30 帧 / 秒速度下提供竞争性能,以比较专门用于物体形状、姿态和抓取预测的最新技术方法。
May, 2023
利用神经渲染和姿态估计系统从稀疏视图中理解和编辑手物互动,解决高变形和遮挡问题,并实现新视角合成;通过稳定接触损失来确保手物互动过程中的稳定接触。
Aug, 2023
本文提出了 FingerSLAM,一种结合手指触觉传感和腕部摄像头视觉感知的封闭环路因子图姿态估计器,用于关于手中未知物体的 6DoF 定位和 3D 重建,通过该方法可以获得更加准确的估计,并示范了在实际情况下的定量和定性评估。
该论文介绍了一种基于深度信息的机器人手臂感知与图像识别框架,包括自适应手指检测、点云数据处理、全局位姿估计、轨迹规划与性能分析等组件,该框架可以实现对高度遮挡物体进行精准的位姿估计与反应迅速的操作控制。