一种可重构的数据手套,用于重建物理和虚拟握持
通过分析三维点云中的对象几何形状(简单和复杂),提出了一种基于 PointGrasp 的实时系统,用于识别日常生活中的家居场景,并支持和增强日常活动中的定制化端到端抓取任务,实现可达对象的定位和识别。该系统在简单和复杂几何形状的情况下,平均 RMSE 为 0.8±0.39 cm 和 0.11±0.06 cm,展示了在视觉驱动的机器人辅助康复手动任务中的潜力。
Mar, 2024
本论文提出了一种新的重新抓取控制策略,该策略利用触觉传感器计划局部抓握调整,通过深度学习网络构建基于触觉的抓握质量度量来确定重新抓取动作,并且该方法在测试集上将抓握成功率平均提高了 70%。
Mar, 2018
将优化方法与生成模型相结合,我们开发了一个新颖的方法来在杂乱的环境中生成五指抓取样本,并通过评估模型改进了抓取质量和碰撞概率,显著提高了在复杂情境中进行五指抓取的实用性。
Apr, 2024
通过从部分观测中重建和完成其全面几何结构,并利用七自由度的拟人化机器人手进行操作,我们的方法显著提高了只有部分重建的基线的抓取成功率近 30%,并以三个不同的对象类别多次实现了超过 150 次成功抓取,这表明我们的方法在真实世界的不同方向和位置基于完成的对象形状进行预测和执行抓取姿势的一贯能力,为增强需要实际重建对象的精确抓取和操作技能的机器人应用开辟了新的可能性。
Nov, 2023
该研究提出了一种基于深度传感器和一种先进的 3D 手姿估计器的模型,使用模型自由的混合强化学习和模仿学习方法训练代理来实现虚拟环境中手 - 物体交互,通过引入物理约束,使得机器人能够完成更高效的手 - 物体操作。
Aug, 2020
虚拟现实在多个领域中得到了证明:从游戏、医学和培训到人机协作界面的开发,它能够帮助设计师在超越真实环境限制的情况下探索应用,并开发创新的解决方案和体验。对于在虚拟领域借助自然而直观的手势实现协同机器人操作,需要创建大量的数据集,以便使工作界面易于学习和灵活添加手势。由于计算或经济限制,这可能具有一定的挑战性,因此将在真实环境中表现良好的深度学习模型调整到虚拟领域可能是解决方案。本文提出了一个系统的框架,通过虚拟数据集的有限大小实现从真实到虚拟的适应,并提供了创建策划数据集的指导方针。最后,虽然手势被视为通信模式,但所提供的指南和建议是通用的,适用于其他模式,如身体姿势和面部表情,这些模式在真实领域中有大量可用的数据集,需要适应到虚拟领域。
Jul, 2023
本论文提出了一个基于深度学习的端到端操作条件模型,通过学习来自 GelSight 传感器的神经张量图像的触觉和视觉数据,从而使机器人学会了如何使用触觉信息来调整其抓取力度,以达到高效的抓取。
May, 2018
通过学习基于隐式表征的对象重建的最新进展,借鉴其思想,提出了一种高效且易于与深度神经网络集成的人体抓握模型表示,通过手、对象和接触区隐式表面的 3D to 2D 映射,生成高质量、物理合理的人体抓握姿态,实验结果表明,与现有方法相比,该方法取得了可比拟的性能。
Aug, 2020
通过结合视觉和触觉传感来估计物体的位置和形状,本研究展示了多模态感知在手持操纵中的作用,证明触觉能够在手持操纵过程中改进视觉估计并提供更准确的感知,旨在推动机器人灵巧性的发展。
Dec, 2023
设计了一种高分辨率的触觉传感手指,通过重新设计光学路径结合几何设计变量权衡手指厚度、相机的景深和触觉感应区域的大小,采用更均匀的输出和更坚固的材料,结合自校准过程,从而实现在抓取任务中自持续和抗折磨性能,并通过 4 种度量指标评估其耐久性。
Mar, 2018