儿童游戏手:野外手部操作数据集
本文提出了一种基于3D手部姿势的第一人称动态手部动作识别方法,并通过收集大量RGB-D视频序列对其进行了实验评估。研究结果表明,在进行动作识别时,与其他数据形式相比,手部姿态作为一种线索具有明显的优势。
Apr, 2017
本文提出了一种从互联网视频中提取手部状态信息的方法,通过收集大规模数据集并建立学习模型,该方法能够推测出手部位置、接触状态以及所接触的物体,支持3D网格的建模。
Jun, 2020
通过观察手在自然野外环境下的视频,本文致力于实现交互对象的理解,成功地应用这一基本原则于EPIC-KITCHENS数据集,从而纯粹通过观察手在自我中心视角的视频中学习状态敏感特征和对象特性。
Dec, 2021
本文提出了一个多模态、丰富注释的知识库OakInk,旨在构建能够对手-物互动进行视觉和认知理解的口袋知识,包括两种知识库:Oak用于记录物体的affordances,Ink用于记录物理世界中的人类互动行为,并使用新颖的方法Tink将这些交互迁移到虚拟现实环境中,本文还介绍了OakInk在姿态估计和握取生成任务中的基准测试以及OakInk的两个实际应用。
Mar, 2022
AssemblyHands是一份大规模基准数据集,包括3D手部姿态注释和同步的自中心和非中心图像,旨在研究具有挑战性的手-物体交互,可应用于3D手部姿态的估计和行动识别任务。
Apr, 2023
通过探测、策划和适应(EgoPCA)的方式,该论文重新思考并提出了一种新的基础框架,旨在推动主体与物体间的自我互动识别;论文提供了全面的预训练集、平衡测试集和新的基准,并通过训练微调的策略实现了与Ego-HOI基准的最新性能,同时构建了几种新的有效机制,推进进一步的研究,研究数据与发现将为自我互动理解铺就新的道路。
Sep, 2023
本研究提出了AffordPose,一个基于部件级作用标签的大规模手-物交互数据集,揭示了手中心作用对手势姿势的详细排列影响,同时呈现一定程度的多样性。通过参数统计和接触计算,综合数据分析显示了各项作用对手-物交互的共同特征和多样性。我们还进行了手-物作用理解和作用导向手-物交互生成任务的实验,验证了我们的数据集在学习精细手-物交互方面的有效性。
Sep, 2023
通过构建TACO数据集,该研究解决了现有技术方法对于处理单个手和物体的手-物体操作分析和合成的局限性,并通过三个可推广的手-物体交互任务(组合动作识别、可推广的手-物体运动预测和合作抓取合成)来提供广泛的研究领域,从而为推进可推广的手-物体运动分析和合成研究提供了新的见解、挑战和机遇。
Jan, 2024
我们提出了一种基于数据驱动的粗糙动作细化方法,通过手为中心的表示和建模手与物体的动态时空关系,捕捉手物互动的动态线索,并在实验证明我们的方法在性能上优于之前的方法。
Jan, 2024
ADL4D是一个包含最多两个主体与不同物体进行日常生活活动的数据集,用于在手-物体交互的任务中提供独特的上下文。该研究还介绍了一个能够跟踪时间上的手部姿势的多视角多手3D姿势标注的自动化系统,并在Hand Mesh Recovery(HMR)和Hand Action Segmentation(HAS)任务上对数据集进行了评估。
Feb, 2024