Nov, 2023

利用多个空间变换器和损失函数提高在不受控制和协作环境中的手部识别

PDF
TL;DR提出了一种算法，利用多空间变换网络（MSTN）和多个损失函数来提高全手图像中的手部识别准确性，在非受控和非合作环境下，该算法明显优于现有方法，并对来自不同领域的样本具有良好的泛化能力。
smartphoneconsumer camerahand-based recognitionmulti-spatial transformer networkloss functions
发现论文，激发创造
  • 利用多模态训练提高单模态动态手势识别的性能

    我们提出了一个基于 3D 卷积神经网络的方法，使用多个模态的数据来训练单模态网络，通过引入一个空间时间语义对齐的损失函数和一个针对负面知识传递的正则化参数来避免在多个模态之间进行直接的融合以提高手势识别性能。实验结果表明，我们的框架提高了单模态网络的测试时间识别准确性，并在各种动态手势识别数据集上提供了最先进的性能。

    Dec, 2018

  • 空间时间并行变压器用于手臂动态估计

    该研究提出了一种基于 Spatial-Temporal Parallel Arm-Hand Motion Transformer (PAHMT) 的方法，来预测单目视频中的手臂和手的动态，并在不同的挑战性场景下表现出鲁棒性。

    Mar, 2022

  • 4DHands: 使用 Transformer 重建 4D 交互手势

    通过 4DHands 方法，从单目输入中恢复互动手部网格及其相对运动，处理了自由手图像输入和两只手的位置关系的限制，并通过新颖的分词和特征融合策略提出了一种基于 Transformer 的架构。

    May, 2024

  • 通过深度多任务学习实现手部图像理解

    该论文提出了一种基于多任务学习和级联学习框架的 Hand Image Understanding 方法，通过从单个 RGB 图像中综合考虑手对象的各个方面，实现从多媒体材料中分析和理解手信息的任务，并在各种评估指标上显著优于现有方法。

    Jul, 2021

  • 在野外检测手部并识别物理接触

    本文提出一种基于卷积网络的手部检测与物体接触状态识别方法，采用两种注意力机制以及另一个物体检测器的输出，结合手部位置信息和场景中的物体位置信息，实现对手部接触状态的识别，并使用 ContactHands 数据集验证其优越性。

    Oct, 2020

  • 利用 Transformers 進行三維手部重建

    从单眼输入中重建 3D 手部，利用基于 Transformer 的 HaMeR 方法，通过大规模数据训练和深度网络容量的扩展，对手部进行精确且鲁棒性增强的分析，并在流行的 3D 手部姿势基准测试中始终优于先前基准线。

    Dec, 2023

  • 利用卷积神经网络实现手部联合检测和旋转估计

    该论文提出了基于深度学习的手部检测方法，在同一时间内对手部进行检测和旋转校准。借助上下文感知建议生成算法以保证召回率，并设计了一个 CNN 来显式处理物体旋转问题，实验证明该方法在人机交互等领域的应用优于现有方法。

    Dec, 2016

  • 一张 RGB 图像交互式双手重建的解耦迭代细化框架

    本文提出了一个分解迭代框架来实现像素对齐的手部重建，同时有效地建模手部之间的空间关系，利用图卷积网络和变压器在 3D 联合特征空间中进行手部内部和交互信息交互，并通过在两个特征空间中进行多个交替增强来实现精确和稳健的相互作用手部重建。 与所有现有的两只手重建方法相比，我们的方法在 InterHand2.6M 数据集上的表现都有了很大的提高。同时，我们的方法展现了对野外图像的强大的泛化能力。

    Feb, 2023

  • 野外环境中的领域自适应手部关键点和像素定位

    本文提出了一种依靠两个网络的预测结合来估计目标图像可信度并进行自我训练的方法，以提高手部关键点回归和分割性能在不同成像条件下的适应性。

    Mar, 2022

  • Keypoint Transformer：用于精确 3D 姿态估计中解决具有挑战性的手部和物体交互中的关键点标识问题

    本文提出了一种名为 “Keypoint Transformer” 的深度神经网络结构，该结构可以通过二维关键点自注意力机制提取手部三维位姿，实验结果表明该算法在 InterHand2.6M 数据集上性能优于当前所有算法，并可以扩展到双手操纵物体的三维位姿估计，同时作者还提供了超过 75,000 个手部交互的三维场景数据集。

    Apr, 2021