CVPRFeb, 2023

Im2Hands: 学习交互双手形状的专注隐式表示

PDF
TL;DR我们提出了 Implicit Two Hands (Im2Hands)，这是第一个用于表示两只交互手的神经隐含表示方法。与现有的两手重建方法不同，Im2Hands 可以生成高度与图像一致的两只手的细粒度几何图形，同时解决了形状复杂性和交互背景带来的问题。我们的实验结果表明，与相关方法相比，Im2Hands 在两手重建方面取得了最先进的结果。
implicit two handsneural implicit representationoccupancy volumeattention-based modulestwo-hand reconstruction
发现论文，激发创造
  • 使用单个深度相机实时重建相互作用的两只手的姿态和形状

    本论文提出了一种新思路，用于实时跟踪并重构双手的姿态和形状。该方法通过能源最小化框架，将手部姿态和形状模型以及基于深度神经网络的高密度对应预测器嵌入其中，以实现快速运行，实时处理以及自动化调整。同时，文中还提到，该模型得到了场景复杂度不断升级的改进，并达到了同类研究领域的最高水准。

    Jun, 2021

  • 一张 RGB 图像交互式双手重建的解耦迭代细化框架

    本文提出了一个分解迭代框架来实现像素对齐的手部重建，同时有效地建模手部之间的空间关系，利用图卷积网络和变压器在 3D 联合特征空间中进行手部内部和交互信息交互，并通过在两个特征空间中进行多个交替增强来实现精确和稳健的相互作用手部重建。 与所有现有的两只手重建方法相比，我们的方法在 InterHand2.6M 数据集上的表现都有了很大的提高。同时，我们的方法展现了对野外图像的强大的泛化能力。

    Feb, 2023

  • RGB2Hands: 从单目 RGB 视频中实时跟踪三维手部交互

    该论文提出了一种使用单个 RGB 相机捕捉人手骨骼姿势和三维表面几何形状的实时方法，并考虑到了人手间的近距离交互情况，该方法通过多任务 CNN 回归多种信息，包括分割、对 3D 手模型的密集匹配、2D 关键点位置，以及新提出的手内相对深度和手间距离图。该方法已在 RGB 两只手追踪和三维重建方面实验验证，并且在量化和定性上优于现有的非针对两只手交互设计的基于 RGB 的方法，甚至与基于深度的实时方法相媲美。

    Jun, 2021

  • 双手胜于一手：通过占位网络解决手与手的相交

    利用占用网络解决手与手交互带来的干扰问题，降低手的相交数，并提出了一种新的手网格参数化方法，实现更好的性能和更低的误差。

    Apr, 2024

  • 单目事件相机下两只交互手的 3D 姿态估计

    提出了首个从单目事件摄像机中跟踪两只快速移动和互动的手的三维跟踪框架，通过新颖的半监督特征注意机制解决左右手歧义并整合相交损失来修复手的碰撞，推出了新的大规模数据集 Ev2Hands-S 和真实事件流与真实三维标注的基准数据集 Ev2Hands-R，并在强光条件下对真实数据具有更高的三维重建精度。

    Dec, 2023

  • 一个重新照明的三维交互手部数据集

    该研究提出了 Re:InterHand 数据集，通过使用先进的手部重光网络和准确跟踪的两只手的三维姿势，实现了多样和逼真的图像外观和多样和大规模的地面真实（GT）三维姿势，在现有的三维互动手数据集的基础上进行了对比，并展示了其益处。

    Oct, 2023

  • H2O: 第一人称交互识别中的双手物体操作

    该研究提出了一个用于视角内交互识别的综合框架，利用无标记的三维手部操作物体注释，并提出一种用于创建统一数据集的方法，该数据集支持对双手和物体操作姿态的预测，并展现出在该领域的一系列前所未有的细节实现。

    Apr, 2021

  • 4DHands: 使用 Transformer 重建 4D 交互手势

    通过 4DHands 方法，从单目输入中恢复互动手部网格及其相对运动，处理了自由手图像输入和两只手的位置关系的限制，并通过新颖的分词和特征融合策略提出了一种基于 Transformer 的架构。

    May, 2024

  • 神经抓取：学习多机械手抓取的内隐表示

    该研究介绍了一种支持多个机器手抓取对象的神经隐式表示方法， 允许在不同机器手之间传递抓取技能，并可用于 6D 对象姿态估计以及机器人在真实世界中的抓取。

    Jul, 2022

  • 利用单目图像和交互先验重建交互双手

    通过构建二手交互先验并将交互重建任务重新定义为对先验的条件采样，我们提出了一种用于单目图像中手部交互重建的方法。通过大规模多模态数据集和可行性统计，我们进一步利用 VAE 将这些交互模式压缩为潜在代码在先验分布中。与用于定位的关节热图相比，我们提出了交互邻接热图（IAH），通过为不可见的关节分配更密集的可见特征。与全局关节热图相比，IAH 在每个交互区域提供了更细粒度的局部交互信息。最后，通过 ViT 模块将提取的特征与相应的交互编码进行关联。基准数据集上的综合评估验证了该框架的有效性。

    Aug, 2023