无需标记的抓取捕获
使用关节化的 3D 高斯方法捕获手 - 物体抓取,建立 MANUS-Grasps 数据集并展示比其他方法更准确的联系评估方法。
Dec, 2023
本研究提出了一种名为 InterCap 的新方法,利用多视角 RGB-D 数据和参数化的全身模型 SMPL-X 来重建整体身体和对象的互动情况,并构建了一个名为 InterCap 的数据集,填补了现有文献的空白,并支持许多研究方向。
Sep, 2022
本文提出了一种快速的方法,使用单个深度相机准确跟踪手的快速和复杂关节动作,通过使用新型检测引导优化策略结合高斯混合表示深度估计出最佳拟合姿势,并展示了在公共数据集上的评估结果和与之前工作的比较。
Feb, 2016
我们引入了一个数据采集系统和一个名为 HO-Cap 的新数据集,可以用于研究视频中手和物体的 3D 重建和姿态跟踪。该系统使用多个 RGB-D 相机和 HoloLens 头戴式显示器进行数据采集,避免使用昂贵的 3D 扫描仪或动作捕捉系统。我们提出了一种半自动的方法来获得手和物体形状和姿态的注释,与手动标注相比,大大减少了所需的标注时间。通过这个系统,我们捕捉了一个视频数据集,其中人类使用物体来执行不同的任务,以及简单的拾取和移交某个物体给另一只手,这可以作为人类示范用于具身人工智能和机器人操纵研究。我们的数据采集设置和注释框架可以被社区用来在视频中重建物体和人手的 3D 形状并跟踪它们的姿势。
Jun, 2024
通过简单的人类示范,我们提出了一种既不需要大量标注图像,也不受特定几何形状限制的机器人抓取方法:利用一个小的 RGB-D 图像序列构建相关的手和物体网格模型,然后在当前环境中估计物体的姿态并转移所需的抓取指令。
Dec, 2021
本文旨在从单目视频中获取手部和操纵对象的三维重构,提出了一种学习免费的拟合方法以应用于无法获取训练数据且具有不同难度等级的数据集,并量化评估了该方法。
Aug, 2021
本文提出基于对象接触点和手接触点的一致性设计新目标模型以及自我监督任务来生成人类手的抓取姿态,实验证明该模型在人类手抓取方面比其他最先进方法有了显著的提升,特别是在测试过程中对未见过和超出领域的物体表现出更大的增益。
Apr, 2021
该研究通过收集一个新的名为 GRAB 的数据集,包含 10 个零件与 51 个日常物品的互动,详细描述了人类整体抓握物品的过程。通过这个数据集,研究者运用生成式网络训练预测人类手部抓握姿态的模型,以帮助更好地理解人体与物品的互动过程。
Aug, 2020
通过使用 RGB-D 数据流和视觉技术,本研究提出了一种自动生成并适应新物体姿态的抓取轨迹的方法,通过将轨迹相对于物体框架进行投影,实现了在多个不同机器人设置和物体上的抓取任务的高效执行。
Oct, 2023
将优化方法与生成模型相结合,我们开发了一个新颖的方法来在杂乱的环境中生成五指抓取样本,并通过评估模型改进了抓取质量和碰撞概率,显著提高了在复杂情境中进行五指抓取的实用性。
Apr, 2024