BriefGPT.xyz
Sep, 2024
视频中的手-物体交互预训练
Hand-Object Interaction Pretraining from Videos
HTML
PDF
Himanshu Gaurav Singh, Antonio Loquercio, Carmelo Sferrazza, Jane Wu, Haozhi Qi...
TL;DR
本研究解决了机器学习在机器人操作中的普适性和适应性问题，提出了一种利用现实视频生成传感器-运动机器人轨迹的新方法。通过在共享3D空间中提升人手和被操作物体，研究显示对基于这一生成模型的政策进行微调，可以实现高效的样本适应，同时提高适用性和鲁棒性。
Abstract
We present an approach to learn general
Robot Manipulation
priors from 3D
Hand-Object Interaction
trajectories. We build a framework to use in-the-wild videos to generate sensorimotor robot trajectories. We do so
→