GenHeld: 生成和编辑手持物体
通过学习基于隐式表征的对象重建的最新进展,借鉴其思想,提出了一种高效且易于与深度神经网络集成的人体抓握模型表示,通过手、对象和接触区隐式表面的 3D to 2D 映射,生成高质量、物理合理的人体抓握姿态,实验结果表明,与现有方法相比,该方法取得了可比拟的性能。
Aug, 2020
本篇研究通过介绍一种新的中间变量来提高三维抓取合成的效率,以解决现有方法想要直接从物体映射到抓取姿势的非光滑和低效问题,并提出了一种基于接触区域的因子图形式来描述抓取姿态生成过程,并通过实验验证了优化方法的有效性。
Oct, 2022
我们提出了一种无需 3D 手物体交互数据的策略学习框架 GraspXL,通过统一多种运动目标、多样化的物体形状和灵巧的手形态,可以可靠地合成多样化的抓取运动,且能够在超过 500,000 个未知物体中的 82.2% 上成功。
Mar, 2024
本文介绍了一种全新的图像操作技术 HOReeNet,它通过增加手势、物体和其相互作用来实现目标图像的转移和 3D 手势的调整,此技术是第一个针对这种任务提出的可微分框架。通过与传统的图像转换算法和仿真算法进行比较,证明该方法能够达到最先进的水平。
Nov, 2022
通过使用单目交互视频,我们提出了 HOLD,它是第一个无需 3D 手物体注释就能从中复原出联合的手和物体的方法,通过使用一个组合的隐式模型,能够从 2D 图像中复原出解缠细分的 3D 手和物体,并进一步结合手物体约束来改善复原质量,在实验室和入迷环境中优于全监督基线方法。
Nov, 2023
本文提出基于对象接触点和手接触点的一致性设计新目标模型以及自我监督任务来生成人类手的抓取姿态,实验证明该模型在人类手抓取方面比其他最先进方法有了显著的提升,特别是在测试过程中对未见过和超出领域的物体表现出更大的增益。
Apr, 2021
将优化方法与生成模型相结合,我们开发了一个新颖的方法来在杂乱的环境中生成五指抓取样本,并通过评估模型改进了抓取质量和碰撞概率,显著提高了在复杂情境中进行五指抓取的实用性。
Apr, 2024
该论文提出了一种新颖的以物体为中心的接触表示方法 ContactGen,用于手 - 物体交互。ContactGen 包括三个组成部分:接触位置的接触图,接触手部的部分图以及每个部分内的接触方向的方向图。通过给定输入物体,我们提出了一个条件生成模型来预测 ContactGen,并采用基于模型的优化来预测多样且几何可行的抓取。实验结果表明,我们的方法能够为各种物体生成高保真度和多样性的人类抓取。项目页面:this https URL
Oct, 2023