介绍了 ContactPose 数据集,它是第一个把手对象接触配对其他数据模态的数据集,并用它来评估接触建模的各种数据表示、文献中的启发式方法和学习方法。
Jul, 2020
该研究通过收集一个新的名为 GRAB 的数据集,包含 10 个零件与 51 个日常物品的互动,详细描述了人类整体抓握物品的过程。通过这个数据集,研究者运用生成式网络训练预测人类手部抓握姿态的模型,以帮助更好地理解人体与物品的互动过程。
Aug, 2020
本文介绍了一种用于检测人与周围物体接触的新数据集 HOT,并使用该数据集训练了一个新的接触检测器,它可以输出 2D 接触热图以及处于接触状态的身体部位标签。该检测器采用了部分注意分支来通过周围身体部分和场景的上下文指导接触估计,并且定量的结果显示,该模型的性能优于基线,并且所有组件都对提高性能有贡献。
Mar, 2023
本文提出了一种从互联网视频中提取手部状态信息的方法,通过收集大规模数据集并建立学习模型,该方法能够推测出手部位置、接触状态以及所接触的物体,支持 3D 网格的建模。
Jun, 2020
通过深度学习的手法,优化手的姿态以实现与目标物体的期望接触,并使用一种可微分的接触模型来高效优化手的姿态,以实现期望的接触效果,从而显著提高接触匹配度和人类参与者对于抓取的喜好度。
Apr, 2021
该论文介绍了一种从物体形状和接触中进行功能性抓握合成的框架,成果能用于不同手模型的功能抓握合成,该方法是基于人体接触示范的数据集进行的。
Apr, 2019
本篇研究通过介绍一种新的中间变量来提高三维抓取合成的效率,以解决现有方法想要直接从物体映射到抓取姿势的非光滑和低效问题,并提出了一种基于接触区域的因子图形式来描述抓取姿态生成过程,并通过实验验证了优化方法的有效性。
Oct, 2022
通过视觉远程操作收集数据和获取姿态估计和接触信息,提出了一种新的数据集和新的方法来学习手和动态物体姿态估计的交互先验知识。通过对数据的学习,可以提高联合手和关节物体姿态估计的性能。
May, 2023
本文提出了一种半监督学习的框架,通过利用视觉和几何一致性约束生成伪标签来实现从单眼图像中学习接触。在使用少量标注数据的情况下,我们的模型能够实现比基于 PointNet 的方法更好的结果。使用接触映射提高了手 - 物体交互的准确性,并可以对领域外的物体进行估计。
Aug, 2022
本文提出基于对象接触点和手接触点的一致性设计新目标模型以及自我监督任务来生成人类手的抓取姿态,实验证明该模型在人类手抓取方面比其他最先进方法有了显著的提升,特别是在测试过程中对未见过和超出领域的物体表现出更大的增益。